JP2008109176A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】本発明は、露光条件の異なる複数の画像を合成してダイナミックレンジの広い画像を生成する際において、合成する複数の画像の座標位置を一致させることのできる撮像装置及び撮像方法を提供することを目的とする。
【解決手段】輝度調整回路３１において、基準画像データ及び非基準画像データそれぞれの輝度値が調整されると、位置ズレ検出回路３２で基準画像データ及び非基準画像データの位置ズレが検出される。そして、位置ズレ補正回路３３において、検出された位置ズレに基づいて非基準画像データの座標位置が補正された後、基準画像データと非基準画像データとによる合成画像データが画像合成回路３４で生成される。
【選択図】図２

Description

本発明は、画像を撮像する撮像装置及び撮像方法に関するもので、特に、ダイナミックレンジの大きい画像を取得する撮像装置及び撮像方法に関する。

ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子において、そのダイナミックレンジが狭く、被写体の輝度範囲が広い場合、ダイナミックレンジを高い輝度値にあわせると、輝度値の低い部分で黒ツブレが発生し、逆に、ダイナミックレンジを低い輝度値にあわせると、輝度値の高い部分で白トビが発生する。このダイナミックレンジの狭い固体撮像装置によって、広い輝度範囲の被写体を撮像するために、露光量の異なる複数の画像を撮像して合成する手法が用いられている（特許文献１〜３参照）。

特許文献１の撮像装置においては、交互に繰り返される長時間露光及び短時間露光それぞれによって得られた信号量に対して、異なるガンマ特性による演算処理がなされた後、短時間露光に対する信号量にオフセット量を与えて、長時間露光に対する信号量に加算する。これにより、長時間露光及び短時間露光それぞれによって得られた信号量を合成して、ダイナミックレンジを拡大した映像信号を生成することができる。

特許文献２及び特許文献３の撮像装置においては、特許文献１のものと同様、長時間露光の撮像による画像と短時間露光の撮像による画像とを合成することで、ダイナミックレンジの広い合成画像を生成する。そして、この合成画像に生じるブレを抑制するために、電子シャッタとメカシャッタとを組み合わせることで、合成する２画像を撮像するためのシャッタ間隔を短くする。
特開２００１−１６４９９号公報 特開２００３−１６３８３１号公報 特開２００３−２１９２８１号公報

しかしながら、露光条件の２画像を合成することによってダイナミックレンジを広くしたとしても、撮像時における手ブレなどが原因となり、２画像の座標位置の不一致により、合成画像にブレが生じる。そして、特許文献２，３の撮像装置のように、合成する２画像のシャッタ間隔を短くしたとしても、その座標位置のブレを抑制することができるが、座標位置を一致させるものではないため、ブレが解消されるものではない。このようにブレが残ることにより、合成後の画像に対して、画質の劣化が生じる。

このような問題を鑑みて、本発明は、露光条件の異なる複数の画像を合成してダイナミックレンジの広い画像を生成する際において、合成する複数の画像の座標位置を一致させることのできる撮像装置及び撮像方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮影時の露光時間の長い画像による基準画像データと撮影時の露光時間の短い画像による非基準画像データとを合成する合成画像データを生成する画像合成部を備えた撮像装置において、平均輝度値が略等しい２つの画像データを比較することによって、前記非基準画像データと前記基準画像データとの位置ズレ量を検出する位置ズレ検出部と、該位置ズレ検出部で検出された位置ズレ量に基づいて前記非基準画像データの位置ズレを補正する位置ズレ補正部と、を備え、前記画像合成部において、前記基準画像データと前記位置補正部で位置ズレ補正が成された前記非基準画像データとを合成することで、前記合成画像データを生成することを特徴とする。

このとき、前記基準画像データ及び前記非基準画像データそれぞれに対して増幅又は減衰処理を施すことにより、前記基準画像データ及び前記非基準画像データそれぞれの平均輝度値を略等しい状態とする輝度調整部を備え、前記位置ズレ検出部が、該輝度調整部で値が調整された前記基準画像データ及び前記非基準画像データによって、前記非基準画像データと前記基準画像データとの位置ズレ量を検出するものとしても構わない。

このように構成することで、連続して取得される２フレーム分の画像データである前記基準画像データ及び前記非基準画像データによって、位置ズレを検出して、前記基準画像データの位置ズレを補正することができる。

又、前記非基準画像データが、同一の露光時間となる２画像の第１及び第２非基準画像データであり、前記位置ズレ検出部において、前記第１及び第２非基準画像データの位置ズレ量を検出した後、前記第１非基準画像データと前記基準画像データの撮像タイミングの時間差と、前記第１及び第２非基準画像データの撮像タイミングの時間差とによる比に基づいて、前記第１非基準画像データと前記基準画像データの位置ズレ量を算出し、前記位置ズレ補正部において、前記位置ズレ検出部で算出された位置ズレ量に基づいて前記第１非基準画像データの位置ズレを補正し、前記画像合成部において、前記基準画像データと前記位置補正部で位置ズレ補正が成された前記第１非基準画像データとを合成することで、前記合成画像データを生成するものとしても構わない。

このとき、前記基準画像データの撮影タイミングが、前記第１及び第２非基準画像データの撮影タイミングの間にあるものとしても構わないし、前記第１及び第２非基準画像データの撮影タイミングが連続するものとしても構わない。

このように構成することで、輝度調整を行うことなく、平均輝度値の等しい前記第１及び第２非基準画像データに基づいて位置ズレを検出することができる。そして、前記第１基準画像データの位置ズレを補正することができる。

これらの撮像装置において、光電変換動作を行うことで撮影して得られた電気信号を画像データとして出力する撮像素子と、前記撮像素子からの前記画像データを一時的に記憶する画像メモリと、を備えることで、前記画像メモリに記憶された前記非基準画像データ及び前記基準画像データが、前記位置ズレ検出部、前記位置ズレ補正部、及び前記画像合成部それぞれに与えられ、広ダイナミックレンジの画像を撮影することができる。

本発明の撮像方法は、撮影時の露光時間の長い画像による基準画像データと撮影時の露光時間の短い画像による非基準画像データとを合成する合成画像データを生成する画像合成ステップを有する撮像方法において、平均輝度値が略等しい２つの画像データを比較することによって、前記非基準画像データと前記基準画像データとの位置ズレ量を検出する位置ズレ検出ステップと、該位置ズレ検出部で検出された位置ズレ量に基づいて前記非基準画像データの位置ズレを補正する位置ズレ補正ステップと、を備え、前記画像合成ステップにおいて、前記基準画像データと前記位置補正部で位置ズレ補正が成された前記非基準画像データとを合成することで、前記合成画像データを生成することを特徴とする。

このような撮像方法において、前記基準画像データ及び前記非基準画像データそれぞれに対して増幅又は減衰処理を施すことにより、前記基準画像データ及び前記非基準画像データそれぞれの平均輝度値を略等しい状態とする輝度調整ステップを備え、前記位置ズレ検出ステップが、該輝度調整ステップで値が調整された前記基準画像データ及び前記非基準画像データによって、前記非基準画像データと前記基準画像データとの位置ズレ量を検出するものとしても構わない。

又、前記非基準画像データが、同一の露光時間となる２画像の第１及び第２非基準画像データであり、前記位置ズレ検出ステップにおいて、前記第１及び第２非基準画像データの位置ズレ量を検出した後、前記第１非基準画像データと前記基準画像データの撮像タイミングの時間差と、前記第１及び第２非基準画像データの撮像タイミングの時間差とによる比に基づいて、前記第１非基準画像データと前記基準画像データの位置ズレ量を算出し、前記位置ズレ補正ステップにおいて、前記位置ズレ検出部で算出された位置ズレ量に基づいて前記第１非基準画像データの位置ズレを補正し、前記画像合成ステップにおいて、前記基準画像データと前記位置補正部で位置ズレ補正が成された前記第１非基準画像データとを合成することで、前記合成画像データを生成するものとしても構わない。

本発明によると、平均輝度値が略等しい２フレームの画像に基づいて非基準画像データの位置ズレを検出するため、位置ズレを正確に検出することができる。そして、検出した位置ズレによって非基準画像データの位置ズレを補正して、基準画像データと合成するため、合成する２フレームの画像データを合成して広ダイナミックレンジの画像データを生成する場合において、位置ズレによるブレを低減させることができる。

＜撮像装置の構成＞
本発明の各実施形態で共通となる撮像装置の構成について、図面を参照して説明する。図１は、本発明の各実施形態における撮像装置の全体的構成図である。又、この図１の撮像装置は、デジタルスチルカメラ又はデジタルビデオカメラなどであり、少なくとも静止画像を撮影可能となっている。

図１の撮像装置は、被写体からの光が入射されるレンズ１と、レンズ１を通じて入射した光学像を光電変換するＣＣＤ又はＣＭＯＳセンサ等から成る撮像素子２と、撮像素子２における光電変換処理によって得られた電気信号に対して各演算処理を施すカメラ回路３と、カメラ回路３からの出力信号をデジタル映像信号としての画像データに変換するＡ／Ｄ変換回路４と、Ａ／Ｄ変換回路４からの画像データが書き込まれる画像メモリ５と、与えられた画像データをＮＴＳＣ（National Television Standards Committee）信号に変換するＮＴＳＣエンコーダ６と、ＮＴＳＣエンコーダ６からのＮＴＳＣ信号に基づいて映像を再生表示する液晶ディスプレイ等から成るモニタ７と、与えられた画像データをＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮データ形式にエンコードする画像圧縮回路８と、画像圧縮回路８でエンコードされた画像データを画像ファイルとして保存するメモリカードなどから成る記録媒体９と、装置全体を制御するマイコン（マイクロコンピュータ）１０と、撮像素子２の露光時間を設定する撮影制御回路１１と、画像メモリ５を制御するメモリ制御回路１２とを備える。

このように構成される撮像装置において、撮像素子２が、レンズ１を通して入射した光学像を光電変換し、光学像をＲＧＢ信号となる電気信号として出力する。そして、この撮像素子２からの電気信号がカメラ回路３に与えられると、カメラ回路３内において、まず、ＣＤＳ（Correlated Double Sampling）回路で相関二重サンプリング処理された後、ＡＧＣ(Auto Gain Control)回路で最適な振幅にゲイン調整される。このカメラ回路３からの出力信号は、Ａ／Ｄ変換回路４によってデジタル映像信号としての画像データに変換された後、画像メモリ５に書き込まれる。

この図１の撮像装置は、更に、撮像するためのシャッタボタン２１と、撮像素子２のダイナミックレンジの切換を行うダイナミックレンジ切換スイッチ２２と、撮像素子２への光の入射を制御するメカニカルシャッタ２３と、ダイナミックレンジ切換スイッチ２２により広いダイナミックレンジが要求されたときに動作する広ダイナミックレンジ画像生成回路３０と、を備える。

更に、この撮像装置の撮影時の動作モードとして、画像ファイルのダイナミックレンジを撮像素子２のダイナミックレンジによるものとする「通常撮影モード」と、画像ファイルのダイナミックレンジを電子的に撮像素子２のダイナミックレンジよりも広いものとする「広ダイナミックレンジ撮影モード」とが含まれる。そして、ダイナミックレンジ切換スイッチ２２に対する操作に応じて、「通常撮影モード」と「広ダイナミックレンジ撮影モード」の切替え設定が行われる。

このように構成されるとき、ダイナミックレンジ切換スイッチ２２によってマイコン１０に対して「通常撮影モード」が指定されると、「通常撮影モード」に対応した動作を行うように、マイコン１０が撮影制御回路１１及びメモリ制御回路１２の動作制御を行う。又、撮影制御回路１１が、メカニカルシャッタ２３のシャッタ動作と、撮像素子２における信号処理動作とを、各モードに応じて制御し、メモリ制御回路１２が、画像メモリ５に対する画像データの書き込み動作及び読み出し動作を、各モードに応じて制御する。又、撮影制御回路１１は、被写体の明るさを測定する測光回路（不図示）から得られた明るさの情報に基づいて、撮像素子２の最適な露光時間を設定する。

まず、ダイナミックレンジ切換スイッチ２２によって通常撮影モードが指定された場合における、撮像装置の動作について説明する。シャッタボタン２１が押下げられていない場合には、撮影制御回路１１によって、撮像素子２に対して、電子シャッタによる露光期間及び信号の読み出し期間が設定され、撮像素子２が一定間隔（例えば１／６０秒）の撮影を行う。この撮像素子２の撮影によって得られた画像データが、画像メモリ５に書き込まれた後、ＮＴＳＣエンコーダ６によりＮＴＳＣ信号に変換されて、液晶ディスプレイ等から成るモニタ７に送られる。このとき、画像メモリ５は、メモリ制御回路１２によって、Ａ／Ｄ変換回路４からの画像データが書き込まれるように制御された後、書き込まれた画像データがＮＴＳＣエンコーダ６に読み出されるように制御される。そして、各画像データによって表される画像がモニタ７に表示される。このような、画像メモリ５に書き込まれた画像データをそのままＮＴＳＣエンコーダ６に送ることによる表示を、「スルー表示」という。

シャッタボタン２１が押下げられると、撮影制御回路１１によって、撮像素子２における電子シャッタ動作及び信号読出動作と、メカニカルシャッタ２３の開閉動作とが、制御される。これによって、撮像素子２において静止画像の撮影を開始し、そのタイミングの撮影によって得られた画像データが画像メモリ５に書き込まれる。その後、該画像データにて表される画像がモニタ７に表示されると共に、該画像データは画像圧縮回路８によってＪＰＥＧなどの所定の圧縮データ形式にエンコードされ、画像ファイルとしてメモリカード９に保存される。このとき、画像メモリ５は、メモリ制御回路１２によって、Ａ／Ｄ変換回路４からの画像データが書き込まれるように制御された後、書き込まれた画像データがＮＴＳＣエンコーダ６及び画像圧縮回路８に読み出されるように制御される。

次に、ダイナミックレンジ切換スイッチ２２によって広ダイナミックレンジ撮影モードが設定されている場合における、撮像装置の動作について説明する。以下の説明は、特に記述しない限り、広ダイナミックレンジ撮影モードにおける動作の説明である。

シャッタボタン２１が押下げられていない場合には、通常撮影モードと同様、スルー表示が成される。即ち、撮像素子２で一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ５に書き込まれた後、ＮＴＳＣエンコーダ６を介してモニタ７に送られる。又、画像メモリ５に書き込まれた画像データは、広ダイナミックレンジ画像生成回路３０にも与えられ、フレーム毎に座標位置の位置ズレ量が検出される。そして、この検出された位置ズレ量は、広ダイナミックレンジでの撮影が行われたときに利用されるように、広ダイナミックレンジ画像生成回路３０に一時的に記憶される。

又、シャッタボタン２１が押下げられると、撮影制御回路１１によって、撮像素子２における電子シャッタ動作及び信号読出動作と、メカニカルシャッタ２３の開閉動作とが、制御される。そして、撮像素子２において、後述する各実施形態のように、露光量の異なる複数フレームの画像データが連続して撮影されると、撮影された画像データが順番に画像メモリ５に書き込まれる。この書き込まれた複数フレームの画像データが画像メモリ５より広ダイナミックレンジ画像生成回路３０に与えられると、露光量の異なる２フレームの画像データにおける座標位置の位置ズレが補正された後、この２フレームの画像データが合成されて、広ダイナミックレンジとなる合成画像データが生成される。

そして、広ダイナミックレンジ画像生成回路３０で生成された合成画像データが、ＮＴＳＣエンコーダ６及び画像圧縮回路８に与えられる。このとき、ＮＴＳＣエンコーダ６を介してモニタ７に合成画像データが与えられることにより、広ダイナミックレンジとなる合成画像がモニタ７で再生表示される。又、画像圧縮回路８において合成画像データが所定の圧縮データ形式にエンコードされ、画像ファイルとしてメモリカード９に保存される。

このように構成されるとともに動作する撮像装置の詳細について、以下の各実施形態において説明する。尚、以下の各実施形態においては、「通常撮影モード」に関係する構成及び動作については上述のもので共通となるため、「広ダイナミックレンジ撮影モード」に関係する構成及び動作について、詳細に説明する。

＜第１の実施形態＞
本発明の第１の実施形態について、図面を参照して説明する。図２は、本実施形態の撮像装置における広ダイナミックレンジ画像生成回路３０の内部構成を示すブロック図である。

本実施形態の撮像装置における広ダイナミックレンジ画像生成回路３０は、図２に示すように、合成画像データを生成するための基準画像データ及び非基準画像データそれぞれの輝度値を調整するための輝度調整回路３１と、輝度調整回路３１でゲイン調整された基準画像データ及び非基準画像データの座標位置の位置ズレを検出する位置ズレ検出回路３２と、位置ズレ検出回路３２で検出された位置ズレに基づいて非基準画像データの座標位置を補正する位置ズレ補正回路３３と、基準画像データと位置ズレ補正回路３３で座標位置が補正された非基準画像データとを合成して合成画像データを生成する画像合成回路３４と、画像合成回路３４で得られた合成画像データを一時的に記憶する画像メモリ３５と、を備える。

上述したように、ダイナミックレンジ切換スイッチ２２によって広ダイナミックレンジ撮影モードが設定されているときにおいて、シャッタボタン２１が押下げられていない場合、撮像素子２で一定間隔の撮影が行われ、その画像データに基づく画像がモニタ７で再生表示される。このとき、画像メモリ５に書き込まれた画像データは、ＮＴＳＣエンコーダ６に与えられるだけでなく、広ダイナミックレンジ画像生成回路３０にも与えられる。

この広ダイナミクレンジ画像生成回路３０では、位置ズレ検出回路３２に対して、画像メモリ５に書き込まれた画像データが与えられ、入力された異なる２フレームの画像データに基づいて、２フレーム間の動きベクトルの算出が行われる。即ち、この位置ズレ検出回路３２は、前回に入力されたフレームの画像データにて表される画像と今回に入力されたフレームの画像データにて表される画像との間に関する、動きベクトルの算出を行う。そして、今回に入力されたフレームの画像データとともに、算出した動きベクトルを一時的に格納する。尚、シャッタボタン２１が押下されていない時において順次算出される動きベクトルは、後に示す図１３のステップＳ４８の処理（パン・チルト状態判定処理）などに利用される。

尚、以下においては、説明を簡単とするため、シャッタボタン２１が押下されて、基準画像データと非基準画像データが広ダイナミックレンジ画像生成回路３０に入力された場合を説明する。しかしながら、後述する図１２及び図１３に示す各処理は、シャッタボタン２１が押下されたか否かに関わらず、広ダイナミックレンジ撮影モードにおいて逐次行われる。そして、シャッタボタン２１が押下されていない場合は、前フレームの画像データを基準画像データとして、現フレームの画像データを非基準画像データとして、同様の動作を行う。又、シャッタボタン２１が押下されていない場合は、画像データが輝度調整回路３１において輝度調整されることなく、位置ズレ検出回路３２に与えられて、動きベクトルが算出される。

シャッタボタン２１が押下げられた場合、マイコン１０は、撮影制御装置１１に対して、撮像装置２における電子シャッタ機能とメカニカルシャッタ２３の開閉動作とを組み合わせて、露光時間の短いフレームと露光時間の長いフレームとの撮影を行うように指示する。そして、露光時間の長いフレームの画像データを基準画像データとし、又、露光時間の短いフレームの画像データを非基準画像データとし、非基準画像データとなるフレームが撮影された後、基準画像データとなるフレームが撮影される。そして、画像メモリ５に格納された基準画像データ及び非基準画像データが、輝度調整回路３１に与えられる。

（輝度調整回路）
輝度調整回路３１では、基準画像データ及び非基準画像データそれぞれに対して、それぞれの平均輝度値が等しくなるように、ゲイン調整が行われる。即ち、輝度調整回路３１は、図３に示すように、基準画像データ及び非基準画像データそれぞれの平均輝度値を求める平均演算回路３１１，３１２と、平均演算回路３１１，３１２それぞれで得られた平均輝度値に基づいてゲイン設定を行うゲイン設定回路３１３，３１４と、ゲイン設定回路３１３，３１４それぞれで設定されたゲインを乗算することで基準画像データ及び非基準画像データそれぞれの輝度値を調整する乗算回路３１５，３１６と、を備える。

輝度調整回路３１において、平均演算回路３１１，３１２での平均輝度値を取得するために、演算に使用する輝度範囲が設定される。そして、平均演算回路３１１で設定された輝度範囲を、白トビ部分を無視できる範囲となるＬ１以上Ｌ２以下とし、平均演算回路３１２で設定された輝度範囲を、黒ツブレ部分を無視できる範囲となるＬ３以上Ｌ４以下とする。更に、この平均演算回路３１１，３１２それぞれにおける輝度範囲Ｌ１〜Ｌ２（Ｌ１以上Ｌ２以下を意味するものとする）、Ｌ３〜Ｌ４（Ｌ３以上Ｌ４以下を意味するものとする）とそれぞれは、基準画像データ及び非基準画像データそれぞれを撮影する露光時間の比に基づいて設定される。

即ち、基準画像データを撮影するための露光時間がＴ１であり、非基準画像データを撮影するための露光時間がＴ２であるとき、平均値演算回路３１２における輝度範囲の最大値Ｌ４が、平均演算回路３１１における輝度範囲の最大値Ｌ２に対して、（Ｔ２／Ｔ１）が乗算されて設定される。これにより、基準画像データにおける白トビ部分を排除するために平均演算回路３１１における輝度範囲の最大値Ｌ２に基づいて、平均値演算回路３１２における輝度範囲の最大値Ｌ４が設定されることとなる。

又、平均値演算回路３１１における輝度範囲の最小値Ｌ１が、平均演算回路３１２における輝度範囲の最小値Ｌ３に対して、（Ｔ１／Ｔ２）が乗算されて設定される。これにより、非基準画像データにおける黒ツブレ部分を排除するために平均演算回路３１２における輝度範囲の最小値Ｌ３に基づいて、平均値演算回路３１１における輝度範囲の最小値Ｌ１が設定されることとなる。

そして、平均値演算回路３１１では、基準画像データにおいて輝度範囲Ｌ１〜Ｌ２を満たす輝度値を累積加算して、累積加算した輝度値を選択した画素数で割ることで、基準画像データに対する平均輝度値Ｌａｖ１を求める。同様に、平均値演算回路３１２では、非基準画像データにおいて輝度範囲Ｌ３〜Ｌ４を満たす輝度値を累積加算して、累積加算した輝度値を選択した画素数で割ることで、非基準画像データに対する平均輝度値Ｌａｖ２を求める。

即ち、図４（ａ）に示すような輝度分布の被写体を撮影する場合、露光時間Ｔ１で撮影されて得られる基準画像データによる輝度範囲が、図４（ｂ）のように、輝度範囲Ｌｒ１となり、輝度範囲の高輝度側における画素分布が高くなり白トビが発生する。よって、この白トビ部分を、平均値演算を行うための輝度範囲より除くために、輝度範囲Ｌ１〜Ｌ２の最大輝度値Ｌ２が設定される。そして、この最大輝度値Ｌ２に基づいて、非基準画像データに対する輝度範囲Ｌ３〜Ｌ４の最大輝度値Ｌ４が上述のように設定される。

又、露光時間Ｔ２で撮影されて得られる非基準画像データによる輝度範囲が、図４（ｃ）のように、輝度範囲Ｌｒ２となり、輝度範囲の低輝度側における画素分布が高くなり黒ツブレが発生する。よって、この黒ツブレ部分を、平均値演算を行うための輝度範囲より除くために、輝度範囲Ｌ３〜Ｌ４の最小輝度値Ｌ３が設定される。そして、この最小輝度値Ｌ３に基づいて、基準画像データに対する輝度範囲Ｌ１〜Ｌ２の最小輝度値Ｌ１が上述のように設定される。

尚、説明の便宜上、図４（ｂ）の輝度範囲Ｌｒ１及び図４（ｃ）の輝度範囲Ｌｒ２においては、図４（ａ）の被写体の輝度分布に合わせたものとし、又、本明細書における輝度値Ｌ１〜Ｌ４，Ｌａｃ１，Ｌａｖ２，Ｌｔｈについては、撮像素子２への露光量による輝度値とする。即ち、輝度調整回路３１で調整される輝度値は、撮像素子２への露光量に比例した撮像素子２からの画像データ値である。

よって、平均値演算回路３１１で、図４（ａ）の被写体の輝度分布において図４（ｂ）のような輝度範囲Ｌｒ１が撮像されて得られる基準画像データに対して、輝度範囲Ｌ１〜Ｌ２における輝度分布による平均輝度値Ｌａｖ１が求められる。即ち、平均値演算回路３１１において、基準画像データの輝度範囲Ｌ１〜Ｌ２となる輝度値を累積加算するととともに、輝度範囲Ｌ１〜Ｌ２となる輝度値を有する画素数を計算すると、累積加算した輝度値を画素数で割ることにより、基準画像データの平均輝度値Ｌａｖ１を求める。

又、平均値演算回路３１２で、図４（ａ）の被写体の輝度分布において図４（ｃ）のような輝度範囲Ｌｒ２が撮像されて得られる非基準画像データに対して、輝度範囲Ｌ３〜Ｌ４における輝度分布による平均輝度値Ｌａｖ２が求められる。即ち、平均値演算回路３１２において、非基準画像データの輝度範囲Ｌ３〜Ｌ４となる輝度値を累積加算するととともに、輝度範囲Ｌ３〜Ｌ４となる輝度値を有する画素数を計算すると、累積加算した輝度値を画素数で割ることにより、非基準画像データの平均輝度値Ｌａｖ２を求める。

このようにして求められた基準画像データ及び非基準画像データそれぞれの平均輝度値Ｌａｖ１，Ｌａｖ２が、ゲイン設定回路３１３，３１４それぞれに与えられる。ゲイン設定回路３１３では、基準画像データの平均輝度値Ｌａｖ１と基準輝度値Ｌｔｈとを比較して、乗算回路３１５で乗算するゲインＧ１を設定する。又、ゲイン設定回路３１４では、非基準画像データの平均輝度値Ｌａｖ２と基準輝度値Ｌｔｈとを比較して、乗算回路３１６で乗算するゲインＧ２を設定する。

このとき、例えば、ゲイン設定回路３１３において、ゲインＧ１を平均輝度値Ｌａｖ１と基準輝度値Ｌｔｈとの比（Ｌｔｈ／Ｌａｖ１）とし、ゲイン設定回路３１４において、ゲインＧ２を平均輝度値Ｌａｖ２と基準輝度値Ｌｔｈとの比（Ｌｔｈ／Ｌａｖ２）とする。そして、ゲイン設定回路３１３，３１４で設定されたゲインＧ１，Ｇ２それぞれが、乗算回路３１５，３１６に与えられる。これにより、乗算回路３１５では、基準画像データに対してゲインＧ１が乗算され、乗算回路３１６では、非基準画像データに対してゲインＧ２が乗算される。よって、乗算回路３１５，３１６で処理された基準画像データ及び非基準画像データの平均輝度値が略等しくなる。

このように、輝度調整回路３１を構成する各回路が動作することで、平均輝度値が略等しくなった基準画像データ及び非基準画像データが、位置ズレ検出回路３２に与えられる。又、輝度調整回路３１内のゲイン設定回路３１３，３１４に基準輝度値Ｌｔｈがマイコン１０によって与えられるものとし、この基準輝度値Ｌｔｈの値を切り換えることで、ゲイン設定回路３１３，３１４で設定されるゲインＧ１，Ｇ２の値を調整することができる。これにより、基準輝度値Ｌｔｈの値をマイコン１０により調整することで、基準画像データにおける白トビの割合や、非基準画像データ黒つぶれの割合に基づいて、ゲインＧ１，Ｇ２の値が最適な値とすることができる。よって、位置ズレ検出回路３２における演算処理に適した輝度範囲の基準画像データ及び非基準画像データとすることができる。

尚、基準画像データ及び非基準画像データそれぞれの平均輝度値を略等しくするために、上述した輝度調整回路３１のように、基準画像データ及び非基準画像データの両方でなく、いずれか一方のみに対して輝度調整が成される場合、Ｓ／Ｎ比や信号の線形性に起因する誤差が大きくなり、後述する代表点マッチングなどの位置ズレ検出の精度が悪化してしまう。このＳ／Ｎ比や信号の線形性に起因する誤差による影響は、基準画像データ及び非基準画像データそれぞれを取得するための露光時間の差が大きい場合、即ち、ダイナミックレンジ拡大率が大きい場合に、大きくなる。

それに対して、上述した輝度調整回路３１では、基準画像データ及び非基準画像データの両方に対して輝度調整を施すため、それぞれの平均輝度値の中間値になるように基準輝度値Ｌｔｈを設定し、それぞれの輝度調整を行うことができる。よって、基準画像データ及び非基準画像データそれぞれを取得するための露光時間の差が大きい場合でも、Ｓ／Ｎ比や信号の線形性に起因する誤差が拡大することを防ぎ、位置ズレ検出精度の悪化を防ぐことができる。

（位置ズレ検出回路）
このようにして輝度値が調整された基準画像データ及び非基準画像データが与えられる位置ズレ検出回路３２では、基準画像及び非基準画像との間の動きベクトルが算出されるとともに、算出された動きベクトルが有効か無効か判定される。詳細は後述するが、画像間の動きを表すベクトルとしてある程度信頼できると判断された動きベクトルは有効とされ、信頼できないと判断された動きベクトルは無効とされる（詳細は後述）。尚、ここで議論する動きベクトルは、画像の全体の動きベクトル（後述する「全体動きベクトル」）に対応している。また、位置ズレ検出回路３２は、マイコン１０によって制御され、位置ズレ検出回路３２にて算出された各値は必要に応じてマイコン１０に送られる。

図５に示すように、位置ズレ検出回路３２は、代表点マッチング回路４１と、領域動きベクトル算出回路４２と、検出領域有効性判定回路４３と、全体動きベクトル算出回路４４と、を有して構成される。符号４２〜４４で表される部位の機能については後に示す図１２及び図１３のフローチャートの説明の中で行うとして、まず、代表点マッチング回路４１について詳細に説明する。図６は、代表点マッチング回路４１の内部ブロック図である。代表点マッチング回路４１は、フィルタ５１と、代表点メモリ５２と、減算回路５３と、累積加算回路５４と、演算回路５５と、を有して構成される。

１．代表点マッチング法
位置ズレ検出回路３２は、周知の代表点マッチング法に基づいて、動きベクトル等を検出する。位置ズレ検出回路３２に基準画像データ及び非基準画像データが入力されると、基準画像と非基準画像との間の動きベクトル等を検出する。図７に、位置ズレ検出回路３２に与えられる画像データによって表される画像１００を示す。画像１００は、例えば上述の基準画像又は非基準画像のいずれかを表す。画像１００内に、複数の動きベクトル検出領域が設けられる。以下、動きベクトル検出領域を、単に、「検出領域」と略記する。説明の具体化のため、９つの検出領域Ｅ₁〜Ｅ₉が設けられている場合を考える。各検出領域Ｅ₁〜Ｅ₉の大きさは同じである。

検出領域Ｅ₁〜Ｅ₉のそれぞれは、更に、複数の小領域（検出ブロック）ｅに分割されている。図７に示す例では、各検出領域が、４８個の小領域ｅに分割されている（垂直方向に６分割され且つ水平方向に８分割されている）。各小領域ｅは、例えば、３２×３２の画素（垂直方向に３２画素且つ水平方向に３２画素の二次元配列された画素）で構成される。そして、図８に示すように、各小領域ｅに、複数のサンプリング点Ｓと１つの代表点Ｒが設定される。或る１つの小領域ｅに関し、複数のサンプリング点Ｓは、例えば当該小領域ｅを構成する画素の全てに対応する（但し、代表点Ｒを除く）。

非基準画像における小領域ｅ内の各サンプリング点Ｓの輝度値と、基準画像における対応する小領域ｅ内の代表点Ｒの輝度値との差の絶対値（各サンプリング点Ｓにおける相関値）が、各検出領域Ｅ₁〜Ｅ₉ごとに、全ての小領域ｅに対して求められる。そして、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、検出領域内の全ての小領域ｅ間において、代表点Ｒに対する偏移が同じサンプリング点Ｓ同士の相関値が累積加算される（本例では、４８個の相関値が累積加算される）。換言すれば、各検出領域Ｅ₁ 〜Ｅ₉ において、各小領域ｅ内の同じ位置（小領域内座標における同じ位置）の画素について求めた輝度差の絶対値が４８個の小領域ｅ分、累積加算される。この累積加算によって得られる値を、「累積相関値」とよぶ。累積相関値は、一般に、マッチング誤差とも呼ばれる。各検出領域Ｅ₁ 〜Ｅ₉ 毎に、１つの小領域ｅ内のサンプリング点Ｓの個数と同じ個数の累積相関値が求められることになる。

そして、各検出領域Ｅ₁ 〜Ｅ₉ 内において、代表点Ｒと累積相関値が最小となるサンプリング点Ｓとの偏移、すなわち相関性が最も高い偏移が検出される（一般的には、その偏移が当該検出領域の動きベクトルとして抽出される）。このように、或る検出領域に関し、代表点マッチング法に基づいて算出される累積相関値は、基準画像に対して非基準画像に所定の偏移（基準画像と非基準画像との相対的な位置のずれ）を加えた時の、基準画像内の検出領域の画像と非基準画像内の検出領域の画像との相関（類似性）を表し、その値は該相関が高くなるに従って小さくなる。

図６を参照して、代表点マッチング回路４１の動作をより具体的に説明する。フィルタ５１には、図１の画像メモリ５から転送されてきた基準画像データ及び非基準画像データが順次入力され、各画像データはフィルタ５１を介して代表点メモリ５２と減算回路５３に与えられる。フィルタ５１は、ローパスフィルタであり、Ｓ／Ｎ比を改善して少ない代表点で十分な動きベクトル検出精度を確保するために用いられる。代表点メモリ５２は、各検出領域Ｅ₁ 〜Ｅ₉ の小領域ｅごとに、代表点Ｒの画像上の位置を特定する位置データと代表点Ｒの輝度値を特定する輝度データとを記憶する。

尚、代表点メモリ５２の記憶内容の更新タイミングは任意である。代表点メモリ５２に基準画像データ及び非基準画像データそれぞれが入力される度に記憶内容を更新することもできるし、基準画像データが入力されたときにのみ記憶内容を更新するようにしてもよい。また、或る画素（代表点Ｒ又はサンプリング点Ｓ）に関し、輝度値は、その画素の輝度を表し、輝度値が増加するに従って輝度は増加するものとする。また、輝度値は、８ビット（０〜２５５）のデジタル値として表現されるとする。勿論、輝度値を８ビットと異なるビット数で表現しても良い。

減算回路５３は、代表点メモリ５２から与えられる基準画像の代表点Ｒの輝度値と非基準画像の各サンプリング点Ｓの輝度値との減算を行い、その減算結果の絶対値を出力する。減算回路５３の出力値は、各サンプリング点Ｓにおける相関値を表し、この出力値は、順次、累積加算回路５４に与えられる。累積加算回路５４は、減算回路５３から出力される相関値を累積加算することにより上述の累積相関値を算出及び出力する。

演算回路５５は、累積加算回路５４から与えられる累積相関値を受け、図１１に示すようなデータを算出及び出力する。基準画像と非基準画像との対比に関し、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、１つの小領域ｅ内のサンプリング点Ｓの個数に応じた複数の累積相関値（以下、この複数の累積相関値を「演算対象累積相関値群」という）が演算回路５５に与えられるが、演算回路５５は、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、「演算対象累積相関値群を形成する全ての累積相関値の平均値Ｖａｖｅと、演算対象累積相関値群を形成する全ての累積相関値の内の最小値（最小の累積相関値）と、その最小値を示す画素の位置Ｐ_Aと、位置Ｐ_Aの画素の近傍画素に対応する累積相関値（以下、近傍累積相関値と呼ぶことがある）」を算出する。

各小領域ｅに着目し、以下のように画素位置等を定義する。各小領域ｅにおいて、代表点Ｒの画素位置を（０，０）にて表す。位置Ｐ_Aは、代表点Ｒの画素位置（０，０）を基準とした、上記最小値を与えるサンプリング点Ｓの画素位置であり、これを、（ｉ_A，ｊ_A）にて表す（図９参照）。位置Ｐ_Aの画素の近傍画素とは、位置Ｐ_Aの画素に隣接する画素を含む位置Ｐ_Aの画素の周辺画素であり、本例では、位置Ｐ_Aの画素を中心とする２４個の近傍画素を想定する。

そして、図１０に示すように、位置Ｐ_Aの画素と２４個の近傍画素は５×５の行列配列された画素群を形成する。形成した画素群の各画素の画素位置を、（ｉ_A＋ｐ，ｊ_A＋ｑ）にて表す。この画素群の中心に、位置Ｐ_Aの画素が存在する。又、ｐ及びｑは整数であり、−２≦ｐ≦２且つ−２≦ｑ≦２、が成立する。ｐが−２から２に増加するにつれて画素位置は位置Ｐ_Aを中心として上から下へと向かい、ｑが−２から２に増加するにつれて画素位置は位置Ｐ_Aを中心として左から右へと向かう。そして、画素位置（ｉ_A＋ｐ，ｊ_A＋ｑ）に対応する累積相関値を、Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）にて表すものとする。

一般的には、最小の累積相関値の位置Ｐ_Aが真のマッチング位置に対応するものとして動きベクトルが算出されるが、本例では、最小の累積相関値は、真のマッチング位置に対応する累積相関値の候補として捉えられる。位置Ｐ_Aにて得られる最小の累積相関値をＶ_Aにて表し、それを「候補最小相関値Ｖ_A」とよぶ。従って、Ｖ（ｉ_A，ｊ_A）＝Ｖ_Aである。

他の候補を特定すべく、演算回路５５は、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、最小の累積相関値Ｖ_Aに近い累積相関値が演算対象累積相関値群に含まれているかを検索し、検索されたＶ_Aに近い累積相関値も候補最小相関値として特定する。「最小の累積相関値Ｖ_Aに近い累積相関値」とは、Ｖ_Aを所定の規則に従って増加させた値以下の累積相関値であり、例えば、Ｖ_Aに所定の候補閾値（例えば２）を加えた値以下の累積相関値、或いは、Ｖ_Aに１より大きい係数を乗じて得られる値以下の累積相関値である。候補最小相関値は、上記の候補最小相関値Ｖ_Aを含めて、例えば最大４つ特定される。

以下、説明の便宜上、検出領域Ｅ₁ 〜Ｅ₉ のそれぞれについて、候補最小相関値Ｖ_Aの他に候補最小相関値Ｖ_B、Ｖ_C及びＶ_Dが特定された場合を考えるものとする。尚、最小の累積相関値Ｖ_Aに近い累積相関値を検索することによって他の候補最小相関値を特定すると述べたが、Ｖ_B、Ｖ_C及びＶ_Dの内のいずれか又は全部が、Ｖ_Aと等しい場合もある。この場合、或る検出領域に関し、演算対象累積相関値群に最小の累積相関値が２以上含まれることになる。

演算回路５５は、候補最小相関値Ｖ_Aと同様、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、「候補最小相関値Ｖ_Bを示す画素の位置Ｐ_Bと位置Ｐ_Bの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）」、「候補最小相関値Ｖ_Cを示す画素の位置Ｐ_Cと位置Ｐ_Cの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）」、及び「候補最小相関値Ｖ_Dを示す画素の位置Ｐ_Dと位置Ｐ_Dの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）」を検出する（図１１参照）。

各小領域ｅに着目し、以下のように画素位置等を定義する。位置Ｐ_B、Ｐ_C及びＰ_Dは、それぞれ、位置Ｐ_Aと同様、代表点Ｒの画素位置（０，０）を基準とした、候補最小相関値Ｖ_B、Ｖ_C及びＶ_Dを与えるサンプリング点Ｓの画素位置であり、これを、（ｉ_B，ｊ_B）、（ｉ_C，ｊ_C）及び（ｉ_D，ｊ_D）にて表す。このとき、位置Ｐ_Aと同様、位置Ｐ_Bの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉ_B＋ｐ，ｊ_B＋ｑ）にて表し、位置Ｐ_Cの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉ_C＋ｐ，ｊ_C＋ｑ）にて表し、置Ｐ_Dの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉ_D＋ｐ，ｊ_D＋ｑ）にて表す。

ここで、位置Ｐ_Aと同様、ｐ及びｑは整数であり、−２≦ｐ≦２且つ−２≦ｑ≦２、が成立する。ｐが−２から２に増加するにつれて画素位置は位置Ｐ_B（又はＰ_C又はＰ_D）を中心として上から下へと向かい、ｑが−２から２に増加するにつれて画素位置は位置Ｐ_B（又はＰ_C又はＰ_D）を中心として左から右へと向かう。そして、画素位置（ｉ_B＋ｐ，ｊ_B＋ｑ）、（ｉ_C＋ｐ，ｊ_C＋ｑ）及び（ｉ_D＋ｐ，ｊ_D＋ｑ）に対応する累積相関値を、夫々、Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）、Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）及びＶ（ｉ_D＋ｐ，ｊ_D＋ｑ）にて表す。

演算回路５５は、更に、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、候補最小相関値の個数Ｎｆを算出及び出力する。今の例の場合、検出領域Ｅ₁ 〜Ｅ₉ の夫々について、Ｎｆは４である。以下、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、演算回路５５にて算出され且つ出力される、「候補最小相関値Ｖ_A、位置Ｐ_A及び近傍累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）」を特定するデータを総称して「第１の候補データ」と呼び、「候補最小相関値Ｖ_B、位置Ｐ_B及び近傍累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）」を特定するデータを総称して「第２の候補データ」と呼び、「候補最小相関値Ｖ_C、位置Ｐ_C及び近傍累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）」を特定するデータを総称して「第３の候補データ」と呼び、「候補最小相関値Ｖ_D、位置Ｐ_D及び近傍累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）」を特定するデータを総称して「第４の候補データ」と呼ぶ。

２．位置ズレ検出回路の動作フロー
次に、図１２及び図１３のフローチャートを参照して、位置ズレ検出回路３２の処理手順を説明する。また、図１６に、位置ズレ検出回路３２内部の各データの流れをも表した、位置ズレ検出回路３２の詳細内部ブロック図を示す。図１６に示すように、検出領域有効性判定回路４３が、コントラスト判定部６１と、複数動き有無判定部６２と、類似模様有無判定部６３を備え、全体動きベクトル算出回路４４が、全体動きベクトル有効性判定部７０を備える。更に、全体動きベクトル有効性判定部７０が、パン・チルト判定部７１、領域動きベクトル類似性判定部７２及び検出領域有効数算出部７３を備える。

概略的に動作を説明すると、位置ズレ検出回路３２は、検出領域ごとに、候補最小相関値の中から真のマッチング位置に対応する相関値を採用最小相関値Ｐｍｉｎとして特定し、代表点Ｒの位置から採用最小相関値Ｖｍｉｎを示す位置（Ｐ_A、Ｐ_B、Ｐ_C又はＰ_D）に向かう偏移を当該検出領域の動きベクトル（検出領域の動きベクトルを、以下、「領域動きベクトル」という）とする。そして、各領域動きベクトルの平均を画像全体の動きベクトル（以下、「全体動きベクトル」という）として出力する。

但し、平均化によって全体動きベクトルを算出する際、各検出領域の有効又は無効を評価し、無効な検出領域に対応する領域動きベクトルを無効として除外する。そして、有効な領域動きベクトルの平均ベクトルを（原則として）全体動きベクトルとして算出すると共に、算出した全体動きベクトルが有効であるか或いは無効であるかを評価する。

尚、図１２に示されるステップＳ１２〜Ｓ１８の処理は、図５の代表点マッチング回路４１にて実施される。ステップＳ２４の処理は、図５の領域動きベクトル算出回路４２によって実施される。ステップＳ２１〜Ｓ２３並びにＳ２５及びＳ２６の処理は、図５の検出領域有効性判定回路４３によって実施される。図１３に示されるステップＳ４１〜Ｓ４９の処理は、図５の全体動きベクトル算出回路４４によって実施される。

まず、９つある検出領域Ｅ₁〜Ｅ₉の何れか１つを特定するための変数ｋを１とする（ステップＳ１１）。尚、ｋ＝１、２、・・・９の場合、それぞれ、検出領域Ｅ₁、Ｅ₂、・・・Ｅ₉についての処理が行われる。その後、検出領域Ｅ_kについての累積相関値が算出され（ステップＳ１２）、更に、検出領域Ｅ_kについての累積相関値の平均値Ｖａｖｅが算出される（ステップＳ１３）。

そして、真のマッチング位置に対応する累積相関値の候補として候補最小相関値が特定される（ステップＳ１４）。このとき、上述したように、候補最小相関値として４つの候補最小相関値Ｖ_A、Ｖ_B、Ｖ_C又はＶ_Dが特定されたとする。そして、ステップＳ１４にて特定された各候補最小相関値に対応する「位置と近傍累積相関値」が検出される（ステップＳ１５）。更に、ステップＳ１４にて特定された候補最小相関値の個数Ｎｆが算出される（ステップＳ１６）。このステップＳ１１〜Ｓ１６の処理により、図１１に示す、検出領域Ｅ_kについての「平均値Ｖａｖｅ、第１〜第４候補データ及び個数Ｎｆ」が算出される。

そして、検出領域Ｅ_kについての候補最小相関値の中から、真のマッチング位置に対応する相関値が採用最小相関値Ｖｍｉｎとして選択される（ステップＳ１７）。このステップＳ１７の処理を、図１４及び図１５を参照して詳細に説明する。図１４（ａ）〜（ｅ）では、ステップＳ１７の処理にて参照される累積相関値の対応画素を、斜線を用いて表している。図１５は、ステップＳ１７の処理を細分化したフローチャートである。ステップＳ１７は、図１５に示すフローチャートのように、ステップＳ１０１〜Ｓ１１２から形成される。

上述のように、ステップＳ１７に移行すると、まず、第１〜第４の候補データそれぞれについて（即ち、候補最小相関値毎に）、図１４（ａ）のパターンに対応するような「候補最小相関値と４個の近傍累積相関値」の平均値（選択用評価値）を計算する（ステップＳ１０１）。即ち、（ｐ，ｑ）＝（０，−１）、（−１，０）、（０，１）、（１，０）、（０，０）である場合における、「累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値Ｖ_A_aveと、累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）の平均値Ｖ_B_aveと、累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）の平均値Ｖ_C_aveと、累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）の平均値Ｖ_D_ave」を算出する。

そして、ステップＳ１０１で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する（ステップＳ１０２）。具体的には、ステップＳ１０１で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０３に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０１で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。例えば、Ｖ_A_ave＜Ｖ_B_ave＜Ｖ_C_ave＜Ｖ_D_ave、が成立する場合、候補最小相関値Ｖ_Aが採用最小相関値Ｖｍｉｎとして選択される。その後、採用最小相関値Ｖｍｉｎを選択するに当たって参照される累積相関値の位置及び個数を変化させつつ、ステップＳ１０１及びＳ１０２と同様の処理が実施される。

即ち、ステップＳ１０３に移行すると、第１〜第４の候補データそれぞれについて（即ち、候補最小相関値ごとに）、図１４（ｂ）のパターンに対応するような「候補最小相関値と８個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，０）、（０，１）、（１，−１）、（１，０）、（１，１）である場合における、「累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値Ｖ_A_aveと、累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）の平均値Ｖ_B_aveと、累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）の平均値Ｖ_C_aveと、累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）の平均値Ｖ_D_ave」を算出する。

そして、ステップＳ１０３で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する（ステップＳ１０４）。具体的には、ステップＳ１０３で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０５に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０３で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。

ステップＳ１０５では、第１〜第４の候補データそれぞれについて（即ち、候補最小相関値ごとに）、図１４（ｃ）のパターンに対応するような「候補最小相関値と１２個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，０）、（０，１）、（１，−１）、（１，０）、（１，１）、（−２，０）、（２，０）、（０，２）、（０，−２）である場合における、「累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値Ｖ_A_aveと、累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）の平均値Ｖ_B_aveと、累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）の平均値Ｖ_C_aveと、累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）の平均値Ｖ_D_ave」を算出する。

そして、ステップＳ１０５で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する（ステップＳ１０６）。具体的には、ステップＳ１０５で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０７に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０５で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。

ステップＳ１０７では、第１〜第４の候補データそれぞれについて（即ち、候補最小相関値ごとに）、図１４（ｄ）のパターンに対応するような「候補最小相関値と２０個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−２，−１）、（−２，０）、（−２，１）、（−１，−２）、（−１，−１）、（−１，０）、（−１，１）、（−１，２）、（０，−２）、（０，−１）、（０，０）、（０，１）、（０，２）、（１，−２）、（１，−１）、（１，０）、（１，１）、（１，２）、（２，−１）、（２，０）、（２，１）である場合における、累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値Ｖ_A_aveと、累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）の平均値Ｖ_B_aveと、累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）の平均値Ｖ_C_aveと、累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）の平均値Ｖ_D_ave」を算出する。

そして、ステップＳ１０７で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する（ステップＳ１０８）。具体的には、ステップＳ１０７で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０９に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０７で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。

ステップＳ１０９では、第１〜第４の候補データのそれぞれについて（即ち、候補最小相関値ごとに）、図１４（ｅ）のパターンに対応するような「候補最小相関値と２４個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−２，−２）、（−２，−１）、（−２，０）、（−２，１）、（−２，２）、（−１，−２）、（−１，−１）、（−１，０）、（−１，１）、（−１，２）、（０，−２）、（０，−１）、（０，０）、（０，１）、（０，２）、（１，−２）、（１，−１）、（１，０）、（１，１）、（１，２）、（２，−２）、（２，−１）、（２，０）、（２，１）、（２，２）である場合における、累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値Ｖ_A_aveと、累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）の平均値Ｖ_B_aveと、累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）の平均値Ｖ_C_aveと、累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）の平均値Ｖ_D_ave」を算出する。

そして、ステップＳ１０９で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する（ステップＳ１１０）。具体的には、ステップＳ１０９で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１１１に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０９で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。

ステップＳ１１１に移行した場合は、最終的に、採用最小相関値Ｖｍｉｎを選択不可と判断する。即ち、マッチング位置を検出不可と判断する。尚、候補最小相関値が複数ある場合の処理について説明したが、候補最小相関値が１つしかない場合は、その１つの候補最小相関値がそのまま採用最小相関値Ｖｍｉｎとされる。

上述の図１５に示すフローチャートに従って動作することで、ステップＳ１７にて採用最小相関値Ｖｍｉｎが選択されると、採用最小相関値Ｖｍｉｎを示す画素の位置Ｐｍｉｎが特定される（ステップＳ１８）。例えば、採用最小相関値Ｖｍｉｎとして候補最小相関値Ｖ_Aが選択された場合は、位置Ｐ_Aが位置Ｐｍｉｎとなる。このステップＳ１７及びＳ１８で採用最小相関値Ｖｍｉｎ及び位置Ｐｍｉｎが特定されると、ステップＳ２１に移行する。そして、ステップＳ２１〜Ｓ２６では、検出領域Ｅ_kの有効又は無効が判定されると共に検出領域Ｅ_kの領域動きベクトルＭ_kが算出される。各ステップの処理内容を詳細に説明する。

まず、類似模様有無判定部６３（図１６参照）が、検出領域Ｅ_k内に類似した模様が存在していないかを判定する（ステップＳ２１）。このとき、類似模様が存在している場合は、当該検出領域Ｅ_kについて算出される領域動きベクトルの信頼性は低い（即ち、領域動きベクトルＭ_kは検出領域Ｅ_k内の画像の動きを精度良く表していない）。従って、この場合は、検出領域Ｅ_kを無効とする（ステップＳ２６）。このステップＳ２１の判定は、ステップＳ１７の処理結果に基づいて実施される。

即ち、図１５のステップＳ１１２に至って採用最小相関値Ｖｍｉｎが選択された場合は、類似模様は存在していないと判断してステップＳ２１からステップＳ２２に移行する。一方、図１５のステップＳ１１１に至って採用最小相関値Ｖｍｉｎが選択されなかった場合は、類似模様が存在していると判断してステップＳ２１からステップＳ２６に移行し、検出領域Ｅ_kを無効とする。

ステップＳ２２に移行すると、コントラスト判定部６１（図１６参照）が、検出領域Ｅ_k内の画像のコントラストが低いか否かを判定する。コントラストが低い場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ｅ_kを無効とする。具体的には、累積相関値の平均値Ｖａｖｅが所定の閾値ＴＨ１以下であるかを判断する。そして、不等式「Ｖａｖｅ≦ＴＨ１」が成立する場合は、コントラストが低いと判断してステップＳ２６に移行し、検出領域Ｅ_kを無効とする。

この判断は、画像のコントラストが低い場合（例えば、画像全体が白い場合）には、輝度差が小さいので累積相関値が全体的に小さくなるという原理に基づいている。一方、不等式「Ｖａｖｅ≦ＴＨ１」が成立しない場合は、コントラストは低くないと判断してステップＳ２３に移行する。尚、閾値ＴＨ１は、実験を介して適切な値に設定される。

ステップＳ２３に移行すると、複数動き有無判定部６２（図１６参照）が、検出領域Ｅ_k内に複数の動きがあるか否かを判定する。検出領域Ｅ_k内に手ぶれとは関係のない動く物体等が存在する場合は、検出領域Ｅ_k内に複数の動きがあると判断されることになる。複数の動きがある場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ｅ_kを無効とする。

具体的には、不等式「Ｖａｖｅ／Ｖｍｉｎ≦ＴＨ２」が成立するか否かを判断し、該不等式が成立する場合は複数の動きがあると判断してステップＳ２６に移行し検出領域Ｅ_kを無効とする。この判断は、複数の動きがある場合には完全なマッチング位置がないため、累積相関値の最小値が大きくなるという原理に基づいている。又、平均値Ｖａｖｅを除算することによって、この判断が被写体のコントラストに依存しないようにしている。一方、不等式「Ｖａｖｅ／Ｖｍｉｎ≦ＴＨ２」が成立しない場合は、複数の動きがないと判断してステップＳ２４に移行する。尚、閾値ＴＨ２は、実験を介して適切な値に設定される。

ステップＳ２４に移行すると、図５（図１６）に示す領域動きベクトル算出回路４２が、真のマッチング位置を表す位置Ｐｍｉｎに基づいて、領域動きベクトルＭ_kを算出する。例えば、位置Ｐ_Aが位置Ｐｍｉｎである場合は、画像上の位置Ｐ_Aを特定する位置情報（画素位置（ｉ_A，ｊ_A）を特定する情報）に基づいて領域動きベクトルＭ_kを算出する。より具体的には、検出領域Ｅ_kの任意の小領域ｅにおいて、代表点Ｒの位置から採用最小相関値Ｖｍｉｎを示す位置Ｐｍｉｎ（Ｐ_A、Ｐ_B、Ｐ_C又はＰ_D）に向かう偏移の向き及び大きさを、領域動きベクトルＭ_kの向き及び大きさとする。

そして、検出領域Ｅ_kを有効とし（ステップＳ２５）、ステップＳ３１に移行する。他方、ステップＳ２１〜Ｓ２３から移行しうるステップＳ２６では、上述のように、検出領域Ｅ_kを無効として、ステップＳ３１に移行する。このステップＳ３１で、変数ｋに１が加算され、１が加算されて得られた変数ｋが９より大きくなっているかが判断される（ステップＳ３２）。このとき、「ｋ＞９」が成立しない場合はステップＳ１２に移行し、他の検出領域に関してステップＳ１２等の処理が繰り返される。又、「ｋ＞９」が成立する場合は、検出領域Ｅ₁〜Ｅ₉の全てに関してステップＳ１２等の処理が実施されたことになるため、図１３のステップＳ４１に移行する。

図１３のステップＳ４１〜Ｓ４９では、領域動きベクトルＭ_k（１≦ｋ≦９）に基づく全体動きベクトルＭを算出処理及び全体動きベクトルＭの有効性判定処理が行われる。

まず、図１２のステップＳ２５及びＳ２６の処理結果に基づき、有効とされた検出領域（以下、「有効領域」という）の数が０であるか否かを判定する（ステップＳ４１）。有効領域が１以上存在する場合には、有効領域の領域動きベクトルＭ_kを抽出し（ステップＳ４２）、更に、有効領域の領域動きベクトルＭ_kを平均化することにより、それらの平均ベクトルＭａｖｅを算出する（ステップＳ４３）。

そして、領域動きベクトル類似性判定部７２（図１６参照）が、有効領域の領域動きベクトルＭ_kの類似性を判定する（ステップＳ４４）。即ち、有効領域間での領域動きベクトルＭ_kのばらつきＡを評価することにより、有効領域間で動きの異なる物体が存在していないかを判定する。具体的には、下式（１）に基づいて、ばらつきＡを算出する。そして、ばらつきＡが閾値ＴＨ３以上であるか否かを判定する。尚、式（１）において、［｛｜Ｍ_k−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝の総和］は、有効領域ごとに算出された｛｜Ｍ_k−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝を、全ての有効領域について合算した値に相当する。又、図１６に示す検出領域有効数算出部７３は、有効領域の数を算出する。
Ａ＝［｛｜Ｍ_k−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝の総和］／（有効領域の数）
・・・（１）

ステップＳ４４の判定結果より、ばらつきＡが閾値ＴＨ３未満であれば、画像全体の動きベクトル（全体動きベクトル）ＭをステップＳ４３で算出された平均ベクトルＭａｖｅとして（ステップＳ４５）、ステップＳ４７に移行する。逆に、ばらつきＡが閾値ＴＨ３以上の場合は、有効領域の領域動きベクトルＭ_kの類似性が低く、それに基づいて算出される全体動きベクトルの信頼性は低いと考えられる。このため、ばらつきＡが閾値ＴＨ３以上の場合は、全体動きベクトルＭを０として（ステップＳ４６）、ステップＳ４７に移行する。又、ステップＳ４１において有効領域の数が０であると判定された場合も、ステップＳ４６にて全体動きベクトルＭが０とされ、ステップＳ４７に移行する。

ステップＳ４７に移行すると、全体動きベクトルの履歴データＭｎに今回得られた全体動きベクトルＭを追加する。上述したように、図１２及び図１３に示す各処理は、シャッタボタン２１が押下されたか否かに関わらず、広ダイナミックレンジ撮影モードにおいて逐次行われており、ステップＳ４５又はＳ４６にて得られた全体動きベクトルＭは、順次、全体動きベクトルの履歴データＭｎに格納されていく。尚、シャッタボタン２１の１回の押下に対して、基準画像データと非基準画像データの全体動きベクトルＭが得られると、後述のパン・チルト判定処理において、履歴データＭｎに追加されることとなる。

そして、パン・チルト判定部７３（図１６参照）が、履歴データＭｎに基づいて撮像装置がパン・チルト状態にあるかを判定する（ステップＳ４８）。「パン・チルト状態」とは、撮像装置がパン又はチルトしている状態、を意味する。パン（パンニング）とは、撮像装置の筐体（不図示）を左右方向に振ることを意味し、チルト（チルティング）とは、撮像装置の筐体を上下方向に振ることを意味する。撮像装置がパン又はチルトしている状態にあるかを判定する手法としては、例えば、本出願人が提案する特願２００６−９１２８５号に記載の手法を用いればよい。

例えば、次の第１条件又は第２条件を満たした場合に、「手ぶれ状態」から「パン・チルト状態」へ遷移したと判断する（「手ぶれ状態」は、「パン・チルト状態」に含まれない）。尚、第１条件は、「全体動きベクトルＭが垂直方向（上下方向）又は水平方向（左右方向）の同一方向に連続している回数が所定回数以上である」という条件であり、又、第２条件は、「上記同一方向に連続している全体動きベクトルＭの大きさの積分値が撮像装置の画角の一定割合以上である」という条件である。

そして、例えば、次の第３条件又は第４条件を満たした場合に、「パン・チルト状態」から「手ぶれ状態」へ遷移したと判断する。尚、第３条件は、「全体動きベクトルの大きさが０．５画素以下である状態が連続して所定回数（例えば１０回）以上継続した」という条件であり、又、第４条件は、「「手ぶれ状態」から「パン・チルト状態」へ遷移したときの全体動きベクトルＭに対して方向が反対の全体動きベクトルＭが所定回数（例えば１０回）以上連続して得られた」という条件である。

第１〜第４条件の成立／不成立は、履歴データＭｎに含まれる今回得られた全体動きベクトルＭと過去の全体動きベクトルＭと、に基づいて判断される。「パン・チルト状態」にあるか否かの判定結果が、マイコン１０に伝達される。その後、全体動きベクトル有効性判定部７０（図１３参照）が、ステップＳ４１〜Ｓ４８の処理結果に基づいて、今回得られた全体動きベクトルＭが有効であるか否かを判定する（ステップＳ４９）。

具体的には、「ステップＳ４１で有効領域の数が０であると判定されてステップＳ４６に至った場合」、或いは、「ステップＳ４４で有効領域の領域動きベクトルＭ_kの類似性が低いと判定されてステップＳ４６に至った場合」、或いは、「ステップＳ４８でパン・チルト状態にあると判定された場合」は、今回得られた全体動きベクトルＭは無効とされ、そうでない場合は、今回得られた全体動きベクトルＭは有効とされる。又、パン又はチルト操作時には、手ぶれ量が大きく対比する画像間の偏移が小領域ｅのサイズに応じた動き検出範囲を超えてしまうため、正確な動きベクトルを検出することができない。このため、パン・チルト状態にあると判定された場合には全体動きベクトルＭを無効とする。

このように、広ダイナミックレンジ撮影モードにおいてシャッタボタン２１が押下げられると、上述のようにして求められた全体動きベクトルＭ及び全体動きベクトルＭが有効であるか或いは無効であるかを特定する情報が、図１の位置ズレ補正回路３３に与えられる。

（位置ズレ補正回路）
シャッタボタン２１が押下げられたとき、位置ズレ検出回路３２で求められた全体動きベクトルＭ及び全体動きベクトルＭの有効性を特定する情報が、位置ズレ補正回路３３に与えられる。そして、位置ズレ補正回路３３において、与えられた有効性を特定する情報より、全体動きベクトルＭの有効又は無効を確認し、非基準画像データに対する位置ズレ補正を行う。

位置ズレ検出回路３２において、シャッタボタン２１が押下げられて得られた基準画像データ及び非基準画像データの間の全体動きベクトルＭが有効と判定された場合、位置ズレ補正回路３３では、位置ズレ検出回路３２より与えられた全体動きベクトルＭに基づいて、画像メモリ５より読み出された非基準画像データの座標位置が変更されて、基準画像データと座標位置が一致するように位置ズレ補正が成される。そして、位置ズレ補正がなされた非基準画像データが、画像合成回路３４に与えられる。

一方、位置ズレ検出回路３２からの全体動きベクトルＭが無効と判定された場合、画像メモリ５より読み出された非基準画像データに対して、位置ズレ補正回路３３での位置ズレ補正は行われずに、そのまま、画像合成回路３４に与えられる。即ち、位置ズレ検出回路３２において、基準画像データ及び非基準画像データの間の全体動きベクトルＭをゼロとして、非基準画像データに対する位置ズレ補正処理を行った後、画像合成回路３４に与えることとなる。

この位置ズレ補正回路３３では、例えば、基準画像データと非基準画像データとの間の
全体動きベクトルＭが有効であり、図１７に示すように、全体動きベクトルＭが（ｘｍ，ｙｍ）となるとき、非基準画像Ｐ２の画素位置（ｘ，ｙ）が、基準画素Ｐ１の画素位置（ｘ−ｘｍ，ｙ−ｙｍ）に一致させる。即ち、非基準画像データの画素位置（ｘ，ｙ）の輝度値を、画素位置（ｘ−ｘｍ，ｙ−ｙｍ）における輝度値となるように、非基準画像データを変換することで、位置ズレ補正が行われる。このようにして、位置ズレ補正が成された非基準画像データが、画像合成回路３４に与えられる。

（画像合成回路）
画像合成回路３４には、シャッタボタン２１が押下げられたとき、画像メモリ５より読み出された基準画像データと、位置ズレ補正回路３３において位置ズレ補正が成された非基準画像データとが与えられる。そして、各画素位置毎に、基準画像データ及び非基準画像データの輝度値が合成されて、合成後の輝度値によって合成画像となる画像データ（合成画像データ）を生成する。

まず、画像メモリ５より与えられる基準画像データが、輝度値に対するデータ量の関係が図１８（ａ）のようになり、輝度値ＬＴＨより低い輝度値において、データ量が輝度値と比例関係を備え、輝度値ＬＴＨより高い輝度値において、データ量が飽和レベルＴｍａｘとなる。そして、位置ズレ補正回路３３より与えられる非基準画像データが、輝度値に対するデータ量の関係が図１８（ｂ）のようになり、データ量が輝度値と比例関係を備えるとともに、その比例する傾きα２が基準画像データにおける傾きα１よりも小さい。

このとき、図１８（ｂ）のような関係の非基準画像データにおける、輝度値に対するデータ量の傾きα２が、図１８（ａ）のような関係の基準画像データにおける傾きα１となるように、非基準画像データの各画素位置のデータ量をα１／α２で増幅する。これにより、図１９（ａ）に示すように、図１８（ｂ）のような非基準画像データにおける輝度値に対するデータ量の傾きα２が傾きα１となり、非基準画像データのダイナミックレンジがＲ１からＲ２（＝Ｒ１×α１／α２）に広くなる。

そして、非基準画像データにおいて、データ量Ｔｍａｘ以下のデータ量（輝度値ＬＴＨ以下の輝度値）となる画素位置に対しては、基準画像データのデータ量を採用し、非基準画像データにおいて、データ量Ｔｍａｘより大きいデータ量（輝度値ＬＴＨより大きい輝度値）となる画素位置に対しては、非基準画像データのデータ量を採用する。よって、図１９（ｂ）のように、基準画像データと非基準画像データとが輝度値ＬＴＨとの関係に基づいて合成された、ダイナミックレンジがＲ２となる合成画像データが得られる。

そして、ダイナミックレンジＲ２を元のダイナミックレンジＲ１に圧縮する。このとき、合成して得られた図１９（ｂ）のような合成画像データに対して、図２０のように、データ量がＴｔｈ以下のデータ量における変換前に対する変換後の傾きβ１が、データ量がＴｔｈよりも大きいデータ量における変換前に対する変換後の傾きβ２よりも大きくなるような変換式に基づいて、圧縮変換が行われる。このように圧縮変換することで、ダイナミックレンジが基準画像データ及び非基準画像データのダイナミックレンジと同じ合成画像データが生成される。

そして、画像合成回路３４で基準画像データと非基準画像データとが合成されて得られた合成画像データが、画像メモリ３５に格納される。画像メモリ３５に格納された合成画像データによる合成画像は、シャッタボタン２１の押下に応じて撮影された静止画像を表している。この静止画像となる合成画像データは、画像メモリ３５からＮＴＳＣエンコーダ６に与えられると、モニタ７に合成画像が再生表示される。又、合成画像データが、画像メモリ３５から画像圧縮回路８に与えられると、画像圧縮回路８で圧縮符号化された後メモリカード９に保存される。

（広ダイナミックレンジ撮影モードの動作フロー）
更に、上述のように広ダイナミックレンジ撮影モードにおいて各ブロックが動作するときにおいて、シャッタボタン２１が押下げられたときの装置全体における動作フローについて、図２１を参照して説明する。尚、図２１は、広ダイナミックレンジ撮影モードにおける装置主要部での動作フローを説明するための機能ブロック図である。

撮像素子２において露光時間Ｔ２で撮影された非基準画像データＦ１が、画像メモリ５に与えられて格納された後、撮像素子２において露光時間Ｔ１で撮影された基準画像データＦ２が、画像メモリ５に与えられて格納される。そして、画像メモリ５内の非基準画像データＦ１及び基準画像データＦ２それぞれが輝度調整回路３１に与えられると、輝度調整回路３１において、非基準画像データＦ１の平均輝度値と基準画像データＦ２の平均輝度値とが等しくなるように、それぞれのデータ量を増幅する。

これにより、非基準画像データＦ１のデータ量が増幅された非基準画像データＦ１ａと、基準画像データＦ２のデータ量が増幅された基準画像データＦ２ａとが、位置ズレ検出回路３２に与えられる。位置ズレ検出回路３２では、平均輝度値が等しくなった非基準画像データＦ１ａと基準画像データＦ２ａとを比較することで、非基準画像データＦ１ａと基準画像データＦ２ａとの間の位置ズレ量を示す全体動きベクトルＭが算出される。

この全体動きベクトルＭが位置ズレ補正回路３３に与えられるとともに、画像メモリ５内の非基準画像データＦ１が位置ズレ補正回路３３に与えられる。これにより、位置ズレ補正回路３３では、全体動きベクトルＭに基づいて、非基準画像データＦ１に対して位置ズレ補正を行い、非基準画像データＦ１ｂを生成する。

この位置ズレ補正された非基準画像データＦ１ｂが画像合成回路３４に与えられるとともに、画像メモリ５内の基準画像データＦ２が画像合成回路３４に与えられる。そして、画像合成回路３４では、非基準画像データＦ１ｂと基準画像データＦ２それぞれのデータ量に基づいて、広ダイナミックレンジとなる合成画像データＦを生成して、画像メモリ３５内に格納する。これにより、広ダイナミックレンジ画像生成回路３０を動作させて、露光量の小さい画像における黒ツブレと露光量の大きい画像における白トビを無くした広ダイナミックレンジとなる画像を取得することができる。

尚、本動作フロー例において、非基準画像データＦ１が撮影された後に、基準画像データＦ２が撮影されるものとしたが、順番については、逆で合っても構わない。即ち、撮像素子２において露光時間Ｔ１で撮影された基準画像データＦ２が、画像メモリ５に与えられて格納された後、撮像素子２において露光時間Ｔ２で撮影された非基準画像データＦ１が、画像メモリ５に与えられて格納される。

更に、非基準画像データＦ１及び基準画像データＦ２が１フレーム毎に撮影されるとき、それぞれの撮影時間が露光時間によって異なるものとしても構わないし、露光時間にかかわらず同一となっても構わない。露光時間にかかわらず各フレームの撮影時間が同じ場合は、水平走査及び垂直走査などの読み出しタイミングを各フレーム毎に変更する必要が無く、ソフトウェアやハードウェアにおける演算の負担を軽減することができる。又、露光時間に応じて撮影時間の長さを変更する場合は、非基準画像データＦ１に対する撮影時間を短くすることができるため、基準画像データＦ２を撮影した後に非基準画像データＦ１を撮影した場合などにおいては、フレーム間の位置ズレを抑制することができる。

本実施形態によると、広ダイナミックレンジ撮像モードにおいて、露光量のことなる２フレーム分の画像データを合成することで、広ダイナミックレンジとなる合成画像を生成するとき、合成する２フレーム分の画像データの位置合わせを行う。このとき、それぞれの平均輝度値がほぼ一致するように、各フレームの画像データに対して輝度調整を行った後に、画像データの位置ズレを検出して、位置ズレ補正を行う。よって、合成画像におけるブレを防ぐとともに、高階調で高精度の画像を取得することができる。

＜第２の実施形態＞
本発明の第２の実施形態について、図面を参照して説明する。図２２は、本実施形態の撮像装置における広ダイナミックレンジ画像生成回路３０の内部構成を示すブロック図である。尚、図２２に示す構成において、図２の構成と同一の目的で使用する部分については同一の符号を付してその詳細な説明は省略する。

本実施形態の撮像装置における広ダイナミックレンジ画像生成回路３０は、図２２に示すように、図２の広ダイナミックレンジ画像生成回路３０より輝度調整回路３１を省き、位置ズレ検出回路３２で検出された位置ズレ（全体動きベクトル）より実際の位置ズレを予測する位置ズレ予測回路３６を追加した構成となる。この図２２に示す構成の広ダイナミックレンジ画像生成回路３０において、位置ズレ検出回路３２、位置ズレ補正回路３３、画像合成回路３４での動作については、第１の実施形態と同様の動作となるため、その詳細な説明については省略する。

まず、本実施形態の撮像装置において、ダイナミックレンジ切換スイッチ２２によって広ダイナミックレンジ撮影モードが設定されているときにおいて、シャッタボタン２１が押下げられていない場合は、第１の実施形態と同様の動作を行う。即ち、撮像素子２で一定間隔の撮影が行われ、その画像データに基づく画像がモニタ７で再生表示されるとともに、広ダイナミックレンジ画像生成回路３０にも与えられ、位置ズレ検出回路３２において、図１３のステップＳ４８の処理（パン・チルト状態判定処理）などで利用される２フレーム間の動きベクトルの算出が行われる。

又、広ダイナミックレンジ撮影モードが設定されているときにおいて、シャッタボタン２１が押下げられると、本実施形態では、露光時間の短い２フレームと露光時間の長い１フレームの３フレーム分の撮影が撮像素子２で行われ、画像メモリ５に格納される。そして、露光時間の短い２フレームの撮影については、その露光時間を同一とし、撮影して得られた画像の平均輝度値が略等しい状態となる。尚、露光時間の短い２フレームによる画像データそれぞれを非基準画像データとし、露光時間の長いフレームによる画像データそれぞれを基準画像データとする。

２つの非基準画像データが画像メモリ５より位置ズレ検出回路３２に与えられることで、画像間の位置ズレ（全体動きベクトル）が検出される。その後、位置ズレ予測回路３６において、非基準画像データの撮影タイミングの時間差Ｔａと、連続して撮影される非基準画像データ及び基準画像データの撮影タイミングの時間差Ｔｂとの比に基づいて、連続して撮影される非基準画像データ及び基準画像データの画像間の位置ズレ（全体動きベクトル）が予測される。

この予測された画像間の位置ズレ（全体動きベクトル）が位置ズレ補正回路３３に与えられると、位置ズレ補正回路３３において、基準画像データのフレームに連続した非基準画像データに対して位置ズレ補正が行われる。そして、位置ズレ補正回路３３で位置ズレ補正がなされた非基準画像データが画像合成回路３４に与えられると、画像メモリ５から与えられる基準画像データと合成されて、合成画像データが生成される。この合成画像データが画像メモリ３５に一時的に格納される。この静止画像となる合成画像データは、画像メモリ３５からＮＴＳＣエンコーダ６に与えられると、モニタ７に合成画像が再生表示される。又、合成画像データが、画像メモリ３５から画像圧縮回路８に与えられると、画像圧縮回路８で圧縮符号化された後メモリカード９に保存される。

このように動作する撮像装置において、位置ズレ検出回路３２では、画像メモリ５より２フレーム分の非基準画像データが与えられると、第１の実施形態における図１２及び図１３のフローチャートによる動作を行うことで、全体動きベクトルを算出して、位置ズレの検出が行われる。又、位置ズレ補正回路３３では、位置ズレ予測回路３６からの全体動きベクトルが与えられるとともに、画像メモリ５から非基準画像データが与えられると、第１の実施形態と同様の位置ズレ補正処理が成される（図１７参照）。更に、画像合成回路３４では、画像メモリ５及び位置ズレ補正回路３３それぞれから基準画像データ及び非基準画像データが与えられると、第１の実施形態と同様の画像合成処理が成される（図１８〜図２０参照）。よって、本実施形態における広ダイナミックレンジ撮影モードの動作フローについて、以下に説明する。

（広ダイナミックレンジ撮影モードの動作フローの第１例）
まず、広ダイナミックレンジ撮影モードにおいてシャッタボタン２１が押下げられたときの装置全体における動作フローの第１例について、図２３を参照して説明する。本例では、非基準画像データ、基準画像データ、非基準画像データの順番で撮影が行われる。

撮像素子２において露光時間Ｔ２で撮影された非基準画像データＦ１ｘが、画像メモリ５に与えられて格納された後、撮像素子２において露光時間Ｔ１で撮影された基準画像データＦ２が、画像メモリ５に与えられて格納される。その後、更に、撮像素子２において露光時間Ｔ２で撮影された非基準画像データＦ１ｙが、画像メモリ５に与えられて格納される。そして、画像メモリ５内の非基準画像データＦ１ｘ，Ｆ１ｙが位置ズレ検出回路３２に与えられると、位置ズレ検出回路３２では、非基準画像データＦ１ｘ，Ｆ１ｙを比較することで、非基準画像データＦ１ｘ，Ｆ１ｙ間の位置ズレ量を示す全体動きベクトルＭが算出される。

この全体動きベクトルＭが位置ズレ予測回路３６に与えられる。この位置ズレ予測回路３６では、撮像素子２において、非基準画像データＦ１ｘ，Ｆ１ｙそれぞれが読み出されるタイミングの時間差Ｔａの間に、全体動きベクトルＭだけの位置ズレが生じたものとされるとともに、位置ズレ量が時間に比例するものとする。よって、位置ズレ予測回路３６では、非基準画像データＦ１ｘ，Ｆ１ｙそれぞれが読み出されるタイミングの時間差Ｔａと、非基準画像データＦ１ｘ及び基準画像データＦ２それぞれが読み出されるタイミングの時間差Ｔｂと、非基準画像データＦ１ｘ，Ｆ１ｙ間の位置ズレ量を示す全体動きベクトルＭとより、非基準画像データＦ１ｘ及び基準画像データＦ２間の位置ズレ量を示す全体動きベクトルＭ１が、Ｍ×Ｔｂ／Ｔａと算出される。

このようにして位置ズレ予測回路３６で得られた全体動きベクトルＭ１が位置ズレ補正回路３３に与えられるとともに、画像メモリ５内の非基準画像データＦ１ｘが位置ズレ補正回路３３に与えられる。これにより、位置ズレ補正回路３３では、全体動きベクトルＭ１に基づいて、非基準画像データＦ１ｘに対して位置ズレ補正を行うことで、非基準画像データＦ１ｚが生成される。

この位置ズレ補正された非基準画像データＦ１ｚが画像合成回路３４に与えられるとともに、画像メモリ５内の基準画像データＦ２が画像合成回路３４に与えられる。そして、画像合成回路３４では、非基準画像データＦ１ｚと基準画像データＦ２それぞれのデータ量に基づいて、広ダイナミックレンジとなる合成画像データＦを生成して、画像メモリ３５内に格納する。これにより、広ダイナミックレンジ画像生成回路３０を動作させて、露光量の小さい画像における黒ツブレと露光量の大きい画像における白トビを無くした広ダイナミックレンジとなる画像を取得することができる。

（広ダイナミックレンジ撮影モードの動作フローの第２例）
又、広ダイナミックレンジ撮影モードにおいてシャッタボタン２１が押下げられたときの装置全体における動作フローの第２例について、図２４を参照して説明する。本例では、非基準画像データ、非基準画像データ、基準画像データの順番で撮影が行われる。

上述の第１例と異なり、撮像素子２において露光時間Ｔ２によって連続的に撮影された非基準画像データＦ１ｘ，Ｆ１ｙが、画像メモリ５に与えられて格納された後、撮像素子２において露光時間Ｔ１で撮影された基準画像データＦ２が、画像メモリ５に与えられて格納される。このときも、第１例と同様、画像メモリ５内の非基準画像データＦ１ｘ，Ｆ１ｙが位置ズレ検出回路３２に与えられ、非基準画像データＦ１ｘ，Ｆ１ｙ間の位置ズレ量を示す全体動きベクトルＭが算出される。

この全体動きベクトルＭが位置ズレ予測回路３６に与えられると、第１例と異なり、非基準画像データＦ１ｙの直後に基準画像データＦ２が取得されるため、非基準画像データＦ１ｙ及び基準画像データＦ２間の位置ズレ量を示す全体動きベクトルＭ２が求められることとなる。即ち、非基準画像データＦ１ｘ，Ｆ１ｙそれぞれが読み出されるタイミングの時間差Ｔａと、非基準画像データＦ１ｙ及び基準画像データＦ２それぞれが読み出されるタイミングの時間差Ｔｃと、非基準画像データＦ１ｘ，Ｆ１ｙ間の位置ズレ量を示す全体動きベクトルＭとより、非基準画像データＦ１ｙ及び基準画像データＦ２間の位置ズレ量を示す全体動きベクトルＭ２が、Ｍ×Ｔｃ／Ｔａと算出される。

そして、位置ズレ補正回路３３に、位置ズレ予測回路３６で得られた全体動きベクトルＭ２と、画像メモリ５内の非基準画像データＦ１ｙとが与えられ、非基準画像データＦ１ｙに対して、全体動きベクトルＭ２に基づく位置ズレ補正を行うことで、非基準画像データＦ１ｗが生成される。よって、画像合成回路３４では、非基準画像データＦ１ｗと基準画像データＦ２それぞれのデータ量に基づいて、広ダイナミックレンジとなる合成画像データＦを生成して、画像メモリ３５内に格納する。これにより、広ダイナミックレンジ画像生成回路３０を動作させて、露光量の小さい画像における黒ツブレと露光量の大きい画像における白トビを無くした広ダイナミックレンジとなる画像を取得することができる。

（広ダイナミックレンジ撮影モードの動作フローの第３例）
又、広ダイナミックレンジ撮影モードにおいてシャッタボタン２１が押下げられたときの装置全体における動作フローの第３例について、図２５を参照して説明する。本例では、基準画像データ、非基準画像データ、非基準画像データの順番で撮影が行われる。

上述の第１例と異なり、撮像素子２において露光時間Ｔ１で撮影された基準画像データＦ２が、画像メモリ５に与えられて格納された後、撮像素子２において露光時間Ｔ２によって連続的に撮影された非基準画像データＦ１ｘ，Ｆ１ｙが、画像メモリ５に与えられて格納される。このときも、第１例及び第２例と同様、画像メモリ５内の非基準画像データＦ１ｘ，Ｆ１ｙが位置ズレ検出回路３２に与えられ、非基準画像データＦ１ｘ，Ｆ１ｙ間の位置ズレ量を示す全体動きベクトルＭが算出される。

この全体動きベクトルＭが位置ズレ予測回路３６に与えられると、第１例及び第２例と異なり、非基準画像データＦ１ｘの直前で基準画像データＦ２が取得されるため、基準画像データＦ２及び非基準画像データＦ１ｘ間の位置ズレ量を示す全体動きベクトルＭ３が求められることとなる。即ち、非基準画像データＦ１ｘ，Ｆ１ｙそれぞれが読み出されるタイミングの時間差Ｔａと、基準画像データＦ２及び非基準画像データＦ１ｘそれぞれが読み出されるタイミングの時間差−Ｔｂと、非基準画像データＦ１ｘ，Ｆ１ｙ間の位置ズレ量を示す全体動きベクトルＭとより、基準画像データＦ２及び非基準画像データＦ１ｘ間の位置ズレ量を示す全体動きベクトルＭ３が、Ｍ×（−Ｔｂ）／Ｔａと算出される。このように、基準画像データＦ２及び非基準画像データＦ１ｘ間の位置ズレ量を示す全体動きベクトルＭ３は、第１例及び第２例と異なり、非基準画像データＦ１ｘ，Ｆ１ｙ間の位置ズレ量を示す全体動きベクトルＭと逆方向のベクトルとなるため、負の値となる。

そして、位置ズレ補正回路３３に、位置ズレ予測回路３６で得られた全体動きベクトルＭ３と、画像メモリ５内の非基準画像データＦ１ｘとが与えられ、非基準画像データＦ１ｘに対して、全体動きベクトルＭ３に基づく位置ズレ補正を行うことで、非基準画像データＦ１ｚが生成される。よって、画像合成回路３４では、非基準画像データＦ１ｚと基準画像データＦ２それぞれのデータ量に基づいて、広ダイナミックレンジとなる合成画像データＦを生成して、画像メモリ３５内に格納する。これにより、広ダイナミックレンジ画像生成回路３０を動作させて、露光量の小さい画像における黒ツブレと露光量の大きい画像における白トビを無くした広ダイナミックレンジとなる画像を取得することができる。

上述の第１例〜第３例のようにして、広ダイナミックレンジ撮影モードでの撮影動作を行う場合、非基準画像データＦ１ｘ，Ｆ１ｙ及び基準画像データＦ２が１フレーム毎に撮影されるときの撮影時間が、露光時間によって異なるものとしても構わないし、露光時間にかかわらず同一となっても構わない。露光時間にかかわらず各フレームの撮影時間が同じ場合は、水平走査及び垂直走査などの読み出しタイミングを各フレーム毎に変更する必要が無く、ソフトウェアやハードウェアにおける演算の負担を軽減することができる。そして、第２例及び第３例のように動作させる場合は、位置ズレ予測回路３６での増幅率をほぼ１又は−１とすることができ、その演算処理を更に簡単化することができる。

又、露光時間に応じて撮影時間の長さを変更する場合は、非基準画像データＦ１ｘ，Ｆ１ｙに対する撮影時間を短くすることができる。この場合、第１例のように動作させることで、位置ズレ予測回路３６での増幅率を１に近づけることができ、その演算処理を更に簡単化することができる。即ち、非基準画像データＦ１ｙに対する撮影時間を短くすることができるため、基準画像データＦ２と非基準画像データＦ１ｘとにおける位置ズレを、非基準画像データＦ１ｘ，Ｆ１ｙにおける位置ズレとみなすことができる。

又、上述の第１例のようにして、広ダイナミックレンジ撮影モードでの撮影動作を行う場合、基準画像データＦ２と非基準画像データＦ１ｙとによって合成画像データＦが生成されるものとしても構わない。このとき、露光時間に応じて撮影時間の長さを変更するものとすると、非基準画像データＦ１ｙに対する撮影時間を短くすることができるため、フレーム間の位置ズレを抑制することができる。

更に、上述の第１例〜第３例において、位置ズレ予測回路３６で用いられる各フレーム間の時間差を、説明を簡単に行うため、信号読出タイミングに基づいて求められるものとしたが、各フレームの露光時間の時間軸における中心位置（時間重心位置）に相当するタイミングに基づいて求められるものとしても構わない。

本発明の撮像装置は、ＣＣＤやＣＭＯＳセンサなどの撮像素子を備えたデジタルスチルカメラやデジタルビデオに適用可能である。更には、ＣＣＤやＣＭＯＳセンサなどの撮像素子を有することで、デジタルカメラ機能を備えた携帯電話機などの携帯端末装置においても適用可能である。

は、本発明の各実施形態における撮像装置の全体的構成図である。 は、第１の実施形態の撮像装置における広ダイナミックレンジ画像生成回路の内部構成を示すブロック図である。 は、図２の輝度調整回路の内部構成を示すブロック図である。 は、被写体の輝度分布と基準画像データ及び非基準画像データとの関係を示す図である。 は、図２の位置ズレ検出回路の内部構成を示すブロック図である。 は、図５の代表点マッチング回路の内部構成を示すブロック図である。 は、図６の代表点マッチング回路にて定義される、各動きベクトル検出領域と各小領域を示す図である。 は、図７に示す各領域における、代表点とサンプリング点を示す図である。 は、図７に示す各領域における、代表点と最小の累積相関値に対応するサンプリング点の画素位置を表す図である。 は、最小の累積相関値に対応する画素とその近傍画素の各画素位置を表す図である。 は、図６の演算回路の出力データを表としてまとめた図である。 は、位置ズレ検出回路の動作手順を表すフローチャートである。 は、位置ズレ検出回路の動作手順を表すフローチャート図である。 は、図１２のステップＳ１７における採用最小相関値の選択処理に参照される累積相関値のパターンを表す図である。 は、図１２のステップＳ１７における採用最小相関値の選択処理を詳細に表したフローチャートである。 は、位置ズレ検出回路の機能的な内部構成を示す詳細ブロック図である。 は、位置ズレ補正回路における位置ズレ補正動作を示す基準画像データ及び非基準画像データの間の全体動きベクトルの状態を示す図である。 は、画像合成回路に与えられる基準画像データ及び非基準画像データの輝度と信号値の関係を示す図である。 は、画像合成回路において、図１８における基準画像データ及び非基準画像データを合成するときの信号量の変化を示す図である。 は、画像合成回路において、図１９（ｂ）において合成された画像データを圧縮するときの信号量の変化を示す図である。 は、第１の実施形態における広ダイナミックレンジ撮影モードにおける装置主要部での動作フローを説明するための機能ブロック図である。 は、第２の実施形態の撮像装置における広ダイナミックレンジ画像生成回路の内部構成を示すブロック図である。 は、第２の実施形態における広ダイナミックレンジ撮影モードにおける装置主要部での動作フローの第１例を説明するための機能ブロック図である。 は、第２の実施形態における広ダイナミックレンジ撮影モードにおける装置主要部での動作フローの第２例を説明するための機能ブロック図である。 は、第２の実施形態における広ダイナミックレンジ撮影モードにおける装置主要部での動作フローの第３例を説明するための機能ブロック図である。

符号の説明

１ レンズ
２ 撮像素子
３ カメラ回路
４ Ａ／Ｄ変換回路
５ 画像メモリ
６ ＮＴＳＣエンコーダ
７ モニタ
８ 画像圧縮回路
９ 記録媒体
１０ マイコン（マイクロコンピュータ）
１１ 撮影制御回路
１２ メモリ制御回路
２１ シャッタボタン
２２ ダイナミックレンジ切換スイッチ
２３ メカニカルシャッタ
３０ 広ダイナミックレンジ画像生成回路
３１ 輝度調整回路
３２ 位置ズレ検出回路
３３ 位置ズレ補正回路
３４ 画像合成回路
３５ 画像メモリ
３６ 位置ズレ予測回路

Claims (9)

1. 撮影時の露光時間の長い画像による基準画像データと撮影時の露光時間の短い画像による非基準画像データとを合成する合成画像データを生成する画像合成部を備えた撮像装置において、
   平均輝度値が略等しい２つの画像データを比較することによって、前記非基準画像データと前記基準画像データとの位置ズレ量を検出する位置ズレ検出部と、
   該位置ズレ検出部で検出された位置ズレ量に基づいて前記非基準画像データの位置ズレを補正する位置ズレ補正部と、
   を備え、
   前記画像合成部において、前記基準画像データと前記位置補正部で位置ズレ補正が成された前記非基準画像データとを合成することで、前記合成画像データを生成することを特徴とする撮像装置。
2. 前記基準画像データ及び前記非基準画像データそれぞれに対して増幅又は減衰処理を施すことにより、前記基準画像データ及び前記非基準画像データそれぞれの平均輝度値を略等しい状態とする輝度調整部を備え、
   前記位置ズレ検出部が、該輝度調整部で値が調整された前記基準画像データ及び前記非基準画像データによって、前記非基準画像データと前記基準画像データとの位置ズレ量を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記非基準画像データが、同一の露光時間となる２画像の第１及び第２非基準画像データであり、
   前記位置ズレ検出部において、前記第１及び第２非基準画像データの位置ズレ量を検出した後、前記第１非基準画像データと前記基準画像データの撮像タイミングの時間差と、前記第１及び第２非基準画像データの撮像タイミングの時間差とによる比に基づいて、前記第１非基準画像データと前記基準画像データの位置ズレ量を算出し、
   前記位置ズレ補正部において、前記位置ズレ検出部で算出された位置ズレ量に基づいて前記第１非基準画像データの位置ズレを補正し、
   前記画像合成部において、前記基準画像データと前記位置補正部で位置ズレ補正が成された前記第１非基準画像データとを合成することで、前記合成画像データを生成することを特徴とする請求項１に記載の撮像装置。
4. 前記基準画像データの撮影タイミングが、前記第１及び第２非基準画像データの撮影タイミングの間にあることを特徴とする請求項３に記載の撮像装置。
5. 前記第１及び第２非基準画像データの撮影タイミングが連続することを特徴とする請求項３に記載の撮像装置。
6. 光電変換動作を行うことで撮影して得られた電気信号を画像データとして出力する撮像素子と、
   前記撮像素子からの前記画像データを一時的に記憶する画像メモリと、
   を備え、
   前記画像メモリに記憶された前記非基準画像データ及び前記基準画像データが、前記位置ズレ検出部、前記位置ズレ補正部、及び前記画像合成部それぞれに与えられることを特徴とする請求項１〜請求項５のいずれかに記載の撮像装置。
7. 撮影時の露光時間の長い画像による基準画像データと撮影時の露光時間の短い画像による非基準画像データとを合成する合成画像データを生成する画像合成ステップを有する撮像方法において、
   平均輝度値が略等しい２つの画像データを比較することによって、前記非基準画像データと前記基準画像データとの位置ズレ量を検出する位置ズレ検出ステップと、
   該位置ズレ検出部で検出された位置ズレ量に基づいて前記非基準画像データの位置ズレを補正する位置ズレ補正ステップと、
   を備え、
   前記画像合成ステップにおいて、前記基準画像データと前記位置補正部で位置ズレ補正が成された前記非基準画像データとを合成することで、前記合成画像データを生成することを特徴とする撮像方法。
8. 前記基準画像データ及び前記非基準画像データそれぞれに対して増幅又は減衰処理を施すことにより、前記基準画像データ及び前記非基準画像データそれぞれの平均輝度値を略等しい状態とする輝度調整ステップを備え、
   前記位置ズレ検出ステップが、該輝度調整ステップで値が調整された前記基準画像データ及び前記非基準画像データによって、前記非基準画像データと前記基準画像データとの位置ズレ量を検出することを特徴とする請求項７に記載の撮像方法。
9. 前記非基準画像データが、同一の露光時間となる２画像の第１及び第２非基準画像データであり、
   前記位置ズレ検出ステップにおいて、前記第１及び第２非基準画像データの位置ズレ量を検出した後、前記第１非基準画像データと前記基準画像データの撮像タイミングの時間差と、前記第１及び第２非基準画像データの撮像タイミングの時間差とによる比に基づいて、前記第１非基準画像データと前記基準画像データの位置ズレ量を算出し、
   前記位置ズレ補正ステップにおいて、前記位置ズレ検出部で算出された位置ズレ量に基づいて前記第１非基準画像データの位置ズレを補正し、
   前記画像合成ステップにおいて、前記基準画像データと前記位置補正部で位置ズレ補正が成された前記第１非基準画像データとを合成することで、前記合成画像データを生成することを特徴とする請求項７に記載の撮像方法。

Images