JP2007020087A

JP2007020087A - 撮像装置及び撮像方法

Info

Publication number: JP2007020087A
Application number: JP2005201819A
Authority: JP
Inventors: Yoshihiro Tejima; 義裕手島
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2005-07-11
Filing date: 2005-07-11
Publication date: 2007-01-25
Anticipated expiration: 2025-07-11
Also published as: JP4622711B2

Abstract

【課題】画像中の物体の境界の不連続性を軽減する。
【解決手段】露出の異なる複数の画像を合成する撮像装置１において、制御部２０は、露出の短い画像における画素が輝度閾値th0以下である場合、又は、露出の短い画像における画素が輝度閾値th0よりも大きくかつ輝度差Ｓａが上限輝度閾値th2よりも大きい場合には、露出の短い画像の画素データＰｓに露出補正値ｋを乗じた値とし、露出の短い画像における画素が輝度閾値th0以下であり、輝度差Ｓａが下限輝度閾値th1以下である場合には、露出の長い画像の画素データＰｌの値とし、露出の短い画像における画素が輝度閾値th0以下であり、輝度差Ｓａが下限輝度閾値th1より大きく上限輝度閾値th2以下である場合には、露出の短い画像における画素データＰｓに露出補正値kを乗じた値と露出の長い画像における画素データＰｌの値に基づいて決定された画素データの値とする。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

従来から、互いに異なる露出で複数の画像を撮像し、各画像を合成することによりダイナミックレンジを拡大した合成画像を作成することができる撮像装置としてのデジタルカメラがある。
このようなデジタルカメラとして、撮像器により互いに異なる露出で撮像することにより、複数の撮像画像を取得し、レベル補正器により複数の撮像画像のそれぞれに対応する露出条件に基づいて複数の撮像画像のそれぞれのレベルを補正して複数の補正画像を取得し、画像合成器により複数の補正画像を合成してダイナミックレンジの広い単一の合成画像を作成し、ダイナミックレンジ圧縮器により出力先の性能に応じて、合成画像を圧縮して圧縮画像を取得するものがある。ここで、レベル補正器は、撮像画像信号のそれぞれについて、各撮像画像信号からその撮像画像信号に対応する正の値を減算するものであり、正の値は、対応する撮像画像信号の平均値と対応する係数との乗算から求められるものであり、係数は、対応する撮像画像信号の露出条件に基づき、撮像画像信号毎に定められるようになっている（例えば、特許文献１参照。）。
特許第３４５８７４１号公報

ところで、上記特許文献１においては、黒が浮いたような不自然な画像が作成されるという問題を解決するために、各画像を撮像画像信号の平均値と露出条件に基づく係数との乗算から得た値を各画像から引いた後に合成を行っている。
しかし、光の回折や反射、散乱により物体の境界が画像によって異なり、露出の異なる画像の境界では物体の境界が二重になる等、不連続な部分が生じるという問題があった。

そこで、本発明は、上記課題を解決するためになされたものであり、画像中の物体の境界の不連続性を軽減することができる撮像装置及び撮像方法を提供することを目的とする。

請求項１に記載の発明は、撮像装置において、露出の異なる複数の画像を撮像する撮像手段と、前記撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出手段と、各画像を合成して一つの合成画像を作成する画像合成手段と、を備え、前記画像合成手段は、各画像の画素の輝度値を算出する輝度算出手段と、前記輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出手段と、前記画像合成手段により合成される第１の画像の輝度値と前記第１の画像よりも露出の短い第２の画像の輝度値に前記露出補正値を乗じた値との輝度差を算出する輝度差算出手段と、前記第２の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、前記第２の画像における輝度値が所定の輝度閾値よりも大きくかつ前記輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、前記第２の画像の画素データに前記露出補正値を乗じた値とし、前記第２の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、前記第１の画像の画素データの値とし、前記第２の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が前記下限輝度閾値より大きく前記上限輝度閾値以下である画素の合成後の画素データは、前記第１の画像の画素データと前記第２の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定手段と、を備えることを特徴とする。
ここで、第１の画像の画素データと第２の画像の画素データに露出補正値を乗じた値との間を補間する値とは、各画素データ間を直線補間、曲線補間して求められる値をいう。

請求項２に記載の発明は、撮像装置において、露出の異なる複数の画像を撮像する撮像手段と、前記撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出手段と、各画像を合成して一つの合成画像を作成する画像合成手段と、前記画像合成手段により合成された合成画像を圧縮する画像圧縮手段と、を備え、前記画像合成手段は、各画像の画素の輝度値を算出する輝度算出手段と、前記輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出手段と、前記画像合成手段により合成される第１の画像と前記第１の画像よりも露出の短い第２の画像のうち、前記第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、前記第２の画像の画素データに前記露出補正値を乗じた値とし、前記第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、前記第１の画像の画素データの値とし、前記第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、前記第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、前記第１の画像の画素データと前記第２の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定手段と、を備えることを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、前記画素データ決定手段により決定される前記第１の画像の画素データと前記第２の画像の画素データに前記露出補正値を乗じた値との間を補間する値は、画素データの補間に用いる重み係数をｎ（０＜ｎ＜１）、第１の画像の画素データをＰｌ、第２の画像の画素データをＰｓ、露出補正値をｋとすると、ｎ×Ｐｌ＋（１−ｎ）×ｋ×Ｐｓであることを特徴とする。

請求項４に記載の発明は、撮像方法において、露出の異なる複数の画像を撮像する撮像工程と、前記撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出工程と、各画像を合成して一つの合成画像を作成する画像合成工程と、を備え、前記画像合成工程は、各画像の画素の輝度値を算出する輝度算出工程と、前記輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出工程と、前記画像合成手段により合成される第１の画像の輝度値と前記第１の画像よりも露出の短い第２の画像の輝度値に前記露出補正値を乗じた値との輝度差を算出する輝度差算出工程と、前記第２の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、前記第２の画像における輝度値が所定の輝度閾値よりも大きくかつ前記輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、前記第２の画像の画素データに前記露出補正値を乗じた値とし、前記第２の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、前記第１の画像の画素データの値とし、前記第２の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が前記下限輝度閾値より大きく前記上限輝度閾値以下である画素の合成後の画素データは、前記第１の画像の画素データと前記第２の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定工程と、を備えることを特徴とする。

請求項５に記載の発明は、撮像方法において、露出の異なる複数の画像を撮像する撮像工程と、前記撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出工程と、各画像を合成して一つの合成画像を作成する画像合成工程と、前記画像合成工程により合成された合成画像を圧縮する画像圧縮工程と、を備え、前記画像合成工程は、各画像の画素の輝度値を算出する輝度算出工程と、前記輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出工程と、前記画像合成手段により合成される第１の画像と前記第１の画像よりも露出の短い第２の画像のうち、前記第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、前記第２の画像の画素データに前記露出補正値を乗じた値とし、前記第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、前記第１の画像の画素データの値とし、前記第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、前記第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、前記第１の画像の画素データと前記第２の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定工程と、を備えることを特徴とする。

請求項１記載の発明によれば、撮像手段により露出の異なる複数の画像を撮像し、位置変化抽出手段により撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出し、画像合成手段により各画像を一つの合成画像に合成する。画像を合成する際においては、輝度算出手段により各画像の画素の輝度値を算出する。補正値算出手段は、輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出し、輝度差算出手段は、第１の画像の輝度値と第２の画像の輝度値に露出補正値を乗じた値との輝度差を算出する。

画素データ決定手段は、合成される画像のうち、第２の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、第２の画像における輝度値が所定の輝度閾値よりも大きくかつ輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、第２の画像の画素データに露出補正値を乗じた値とする。
また、画素データ決定手段は、合成される画像のうち、第２の画像における輝度値が所定の輝度閾値以下であり、かつ輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、第１の画像の画素データの値とする。
また、画素データ決定手段は、合成される画像のうち、第２の画像における輝度値が所定の輝度閾値以下であり、かつ輝度差が下限輝度閾値より大きく上限輝度閾値以下である画素の合成後の画素データは、第１の画像の画素データと第２の画像の画素データに露出補正値を乗じた値との間を補間する値とする。
そして、画像圧縮手段は、画像合成手段により合成された合成画像を圧縮する。

これにより、従来は露出の異なる画像を合成する際に、輝度の閾値の部分で第１の画像の画素データを採用するか第２の画像の画素データを採用するかの境界となっていたため、両画像の輝度差が大きすぎると合成画像の境界が不連続になる問題があったが、画素データ決定手段により第１の画像の画素データと第２の画像の画素データに露出補正値を乗じた値との間を補間する値を採用することで、撮像画像中の物体の境界の不連続性を軽減することができる。また、撮像時に撮像装置が動くことにより生じる視差により、画像間で異なるものが写って合成画像が不自然となる不具合を解決することができる。

請求項２に記載の発明によれば、撮像手段により露出の異なる複数の画像を撮像し、位置変化抽出手段により撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出し、画像合成手段により各画像を一つの撮像画像に合成する。画像を合成する際においては、輝度算出手段により各画像の画素の輝度値を算出する。補正値算出手段は、輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する。

ここで、画素データ決定手段は、合成される第１の画像と第１の画像よりも露出の短い第２の画像のうち、第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、第２の画像の画素データに露出補正値を乗じた値とする。
また、画素データ決定手段は、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、第１の画像の画素データの値とする。
また、画素データ決定手段は、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、第１の画像の画素データと第２の画像の画素データに露出補正値を乗じた値との間を補間する値とする。
そして、画像圧縮手段は、画像合成手段により合成された合成画像を圧縮する。

請求項３に記載の発明によれば、簡単な計算式で第１の画像の画素データと第２の画像の画素データに露出補正値を乗じた値との間を補間する値を算出することができるので、撮像装置への処理負担を軽減できる。

請求項４に記載の発明によれば、撮像工程により露出の異なる複数の画像を撮像し、位置変化抽出工程により撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出し、画像合成工程により各画像を一つの撮像画像に合成する。画像を合成する際においては、輝度算出工程により各画像の画素の輝度値を算出する。補正値算出工程は、輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出し、輝度差算出工程は、最も露出の長い画像の輝度値と最も露出の短い画像の輝度値に露出補正値を乗じた値との輝度差を算出する。

画素データ決定工程は、合成される画像のうち、第２の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、第２の画像における輝度値が所定の輝度閾値よりも大きくかつ輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、第２の画像の画素データに露出補正値を乗じた値とする。
また、画素データ決定工程は、合成される画像のうち、第２の画像における輝度値が所定の輝度閾値以下であり、かつ輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、第１の画像の画素データの値とする。
また、画素データ決定工程は、合成される画像のうち、第２の画像における輝度値が所定の輝度閾値以下であり、かつ輝度差が下限輝度閾値より大きく上限輝度閾値以下である画素の合成後の画素データは、第１の画像の画素データと第２の画像の画素データに露出補正値を乗じた値との間を補間する値とする。
そして、画像圧縮工程は、画像合成工程により合成された合成画像を圧縮する。

請求項５記載の発明によれば、撮像工程により露出の異なる複数の画像を撮像し、位置変化抽出工程により撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出し、画像合成工程により各画像を一つの撮像画像に合成する。画像を合成する際においては、輝度算出工程により各画像の画素の輝度値を算出する。補正値算出工程は、輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する。

ここで、画素データ決定工程は、合成される第１の画像と第１の画像よりも露出の短い第２の画像のうち、第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、第２の画像の画素データに露出補正値を乗じた値とする。
また、画素データ決定工程は、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、第１の画像の画素データの値とする。
また、画素データ決定工程は、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、第１の画像の画素データと第２の画像の画素データに露出補正値を乗じた値との間を補間する値とする。
そして、画像圧縮工程は、画像合成工程により合成された合成画像を圧縮する。

以下、図面を参照して、本発明に係る撮像装置及び撮像方法の最良の形態について詳細に説明する。
（実施形態１）
＜撮像装置の構成＞
図１は、撮像装置１の構成を示すブロック図である。
撮像装置１は、集光して被写体の画像を結像するための光学系１１と、光学系１１により結像された画像を取り込むためにデジタル化する光電変換部１２と、ストロボ発光させるストロボ発光部１３と、ズーム調節を行うズーム駆動部１４と、焦点を調節するフォーカス駆動部１５と、光学系１１により結像された画像を表示させる表示部１６と、操作入力を行う操作入力部１７と、各部の動作制御を行う制御部２０と、を備えている。
制御部２０は、各部の動作制御に関する処理プログラムに従って各処理を実行するＣＰＵ２１と、各処理を実行するための処理プログラムや画素データ等が記憶されるメモリ２２と、を備えている。
メモリ２２には、処理プログラムが展開され、当該プログラムに基づく処理を行う作業エリア２３と、各部の動作制御に関する処理プログラムが記憶されたプログラムエリア２４と、光学系１１により結像され、光電変換部１２によりデジタル化された画像の画像データを記憶する画像データエリア２５が形成されている。

図２は、プログラムエリア２４を示す構成ブロック図である。
プログラムエリア２４には、異なる露出で撮像された、例えば、シャッタースピードの異なる二つの画像データを比較して被写体の画像内における位置の変化を抽出する位置変化抽出プログラム２４ａが記憶されている。すなわち、ＣＰＵ２１が位置変化抽出プログラム２４ａを実行することにより、制御部２０は位置変化抽出手段として機能する。
また、プログラムエリア２４には、各画像を合成して一つの撮像画像を作成する画像合成プログラム２４ｂが記憶されている。すなわち、ＣＰＵ２１が画像合成プログラム２４ｂを実行することにより、制御部２０は画像合成手段として機能する。
この画像合成プログラム２４ｂは、例えば、さらに複数のプログラムにより構成されている。具体的に、画像合成プログラム２４ｂは、二つの画像の画素の輝度値Ｙｌ，Ｙｓを算出する輝度算出プログラム２４ｃを有する。すなわち、ＣＰＵ２１が輝度算出プログラム２４ｃを実行することにより、制御部２０は輝度算出手段として機能する。
また、画像合成プログラム２４ｂは、輝度算出プログラム２４ｃにより算出された二つの画像の同じ座標位置における画素の輝度値Ｙｌ，Ｙｓを比較して露出補正値ｋを算出する補正値算出プログラム２４ｄを有する。すなわち、ＣＰＵ２１が補正値算出プログラム２４ｄを実行することにより、制御部２０は補正値算出手段として機能する。
また、画像合成プログラム２４ｂは、露出の長い画像の輝度値Ｙｌと露出の短い画像の輝度値Ｙｓに露出補正値ｋを乗じた値との輝度差Ｓａを算出する輝度差算出プログラム２４ｅを有する。すなわち、ＣＰＵ２１が輝度差算出プログラム２４ｅを実行することにより、制御部２０は輝度差算出手段として機能する。ここで、輝度差Ｓａは以下の式（１）で算出される。
Ｓａ＝｜Ｙｌ−ｋ×Ｙｓ｜・・・・・・・（１）
また、画像合成プログラム２４ｂは、合成後の合成画像の画素データを決定するための画素データ決定プログラム２４ｆを有する。すなわち、ＣＰＵ２１が画素データ決定プログラム２４ｆを実行することにより、制御部２０は画素データ決定手段として機能する。

具体的に、画素データ決定プログラム２４ｆは、合成される二つの画像のうち、露出の短い画像における所定位置の画素が所定の輝度閾値th0以下である場合、又は、露出の短い画像における所定位置の画素が所定の輝度閾値th0よりも大きく、かつ、輝度差Ｓａが所定の上限輝度閾値th2よりも大きい場合には、合成後の所定位置の画素データＰｃは、露出の短い画像の画素データＰｓに露出補正値kを乗じた値とする。
また、画素データ決定プログラム２４ｆは、合成される二つの画像のうち、露出の短い画像における所定位置の画素の輝度値が所定の輝度閾値th0以下であり、輝度差Ｓａが所定の下限輝度閾値th1以下である場合には、合成後の所定位置の画素データは、露出の長い画像の画素データＰｌの値とする。
また、画素データ決定プログラム２４ｆは、合成される二つの画像のうち、露出の短い画像における所定位置の画素が所定の輝度閾値th0以下であり、輝度差Ｓａが下限輝度閾値th1より大きく上限閾値th2以下である場合には、合成後の所定位置の画素データは、露出の短い画像における画素データＰｓに露出補正値ｋを乗じた値と露出の長い画像における画素データＰｌの値とに基づいて定められた画素データの値とする。なお、本実施形態において、合成される二つの画像のうち、露出の短い画像における所定位置の画素が所定の輝度閾値th0以下であり、輝度差Ｓａが下限輝度閾値th1より大きく上限輝度閾値th2以下である場合には、合成される二つの画素データの重み平均を採用する。すなわち、重みづけをするための重み係数ｎ（０＜ｎ＜１）を設定し、合成画素の画素データＰｃを以下の式（２）で算出された値としている。
Ｐｃ＝ｎ×Ｐｌ＋（１−ｎ）×ｋ×Ｐｓ・・・・・・・（２）

また、プログラムエリア２４には、画像合成プログラム２４ｂにより合成された合成画像を圧縮する画像圧縮プログラム２４ｇが記憶されている。
また、プログラムエリア２４には、画像圧縮プログラム２４ｇにより圧縮された圧縮画像に画像処理を施す画像処理プログラム２４ｈが記憶されている。

＜撮像方法＞
撮像装置１による撮像方法について説明する。
図３に示すように、ユーザが操作入力部１７を構成する撮像ボタン（図示略）を押下すると、光学系１１が捉えているシーンが光電変換部１２に集光され、光電変換部１２はデジタル画像を作成する。このとき、光電変換部１２が有する電子シャッタや光学系１１が有する機械式シャッタにより露出時間を変化させて二つの画像の撮像が行われる。光電変換部１２で作成されたデジタル画像はメモリ２２の画像データエリア２５に一時的に記憶される（ステップＳ１：撮像工程）。
次いで、ＣＰＵ２１は、位置変化抽出プログラム２４ａを実行することにより、露出の異なる二つの画像から被写体の画像内における位置の変化を抽出する（ステップＳ２：位置変化抽出工程）。被写体の位置の変化を抽出するには、撮像された画像の特徴点を抽出する。特徴点の抽出に当たっては、ＫＬＴ法等の方法で画像の固有値を有限個抽出して特徴点とする。そして、抽出された特徴点が次の画像においてどこに移動したかを知るため、特徴点に最も近い点を探す。これを複数の特徴点で行い、二つの画像間で特徴点の位置座標を対応させ画像の変換行列を求める。

次いで、ＣＰＵ２１は、画像合成プログラム２４ｂを実行することにより、二つの画像を合成して一つの撮像画像を作成する（ステップＳ３〜ステップＳ６：画像合成工程）。
図４に示すように、ＣＰＵ２１が輝度算出プログラム２４ｃを実行すると、ＣＰＵ２１は撮像された二つの画像のうち、露出が長い方の画像Ｐｌの輝度値Ｙｌと露出が短い方の画像Ｐｓの輝度値Ｙｓを算出する（ステップＳ３：輝度算出工程）。
次いで、ＣＰＵ２１が補正値算出プログラム２４ｄを実行することにより、ＣＰＵ２１は撮像された両画像の同じ座標位置にある輝度値Ｙｌと輝度値Ｙｓとの比を全ての画素について算出し、これらの比の平均を露出補正値ｋとして算出する（ステップＳ４：補正値算出工程）。このとき、輝度値Ｙｌが一定の範囲内にあるときのみ露出補正値ｋを算出する。一定の範囲を大きく外れた輝度値を考慮すると、適切な露出補正値ｋが得られないからである。また、二つの画像の同じ位置とは、ステップＳ２で算出された変換行列により両画像の位置合わせを行った後の同じ位置をいう。
次いで、ＣＰＵ２１は、輝度差算出プログラム２４ｅを実行することにより、露出の長い画像の輝度値Ｙｌの値と露出の短い画像の輝度値Ｙｓに露出補正値ｋを乗じた値との輝度差Ｓａの絶対値を算出する（ステップＳ５：輝度差算出工程）。

次いで、ＣＰＵ２１が画素データ決定プログラム２４ｆを実行することにより、合成画像の画素データを決定する（ステップＳ６：画素データ決定工程）。
図５に示すように、ステップＳ６において、輝度閾値th0を２００とした場合、ＣＰＵ２１は露出の短い方の画像の輝度値Ｙｓが輝度閾値th0である２００以下であるか否かを判断する（ステップＳ６１）。ここで、ＣＰＵ２１が、輝度値Ｙｓが２００よりも大きいと判断した場合（ステップＳ６１：ＮＯ）、ＣＰＵ２１は合成画像の画素データＰｃを露出の短い画像の画素データＰｓに露出補正値ｋを乗じた値（ｋ×Ｐｓ）に決定し（ステップＳ６２）、本処理を終了させる。一方、ＣＰＵ２１が、輝度値Ｙｓが２００以下であると判断した場合（ステップＳ６１：ＹＥＳ）、ＣＰＵ２１は輝度差Ｓａが上限輝度閾値th2よりも大きいか否かを判断する（ステップＳ６３）。
ステップＳ６３において、ＣＰＵ２１が、輝度差Ｓａが上限輝度閾値th2よりも大きいと判断した場合（ステップＳ６３：ＹＥＳ）、ＣＰＵ２１は合成画像の画素データＰｃを露出の短い画像の画素データＰｓに露出補正値ｋを乗じた値（ｋ×Ｐｓ）に決定し（ステップＳ６２）、本処理を終了させる。一方、ＣＰＵ２１が、輝度差Ｓａが上限輝度閾値th2以下であると判断した場合（ステップＳ６３：ＮＯ）、ＣＰＵ２１は輝度差Ｓａが下限輝度閾値th1以下であるか否かを判断する（ステップＳ６４）。
ステップＳ６４において、ＣＰＵ２１が、輝度差Ｓａが下限輝度閾値th1以下であると判断した場合（ステップＳ６４：ＹＥＳ）、ＣＰＵ２１は合成画像の画素データＰｃを露出の長い画像の画素データＰｌの値に決定し（ステップＳ６５）、本処理を終了させる。一方、ＣＰＵ２１が、輝度差Ｓａが下限輝度閾値th1よりも大きいと判断した場合（ステップＳ６４：ＮＯ）、ＣＰＵ２１は、合成される二つの画素データの重み平均を採用する。すなわち、式（２）により算出された値を合成画像の画素データＰｃとし（ステップＳ６６）、本処理を終了させる。

ステップＳ３〜ステップＳ６により、画像の合成が終了すると、ＣＰＵ２１は、画像圧縮プログラム２４ｇを実行することにより、合成画像を出力に合わせてガンマ変換による圧縮方法により圧縮する（ステップＳ７：画像圧縮工程）。合成画像を圧縮した後、ＣＰＵ２１は、画像処理プログラム２４ｈを実行することにより、圧縮画像のガンマ補正、色補正等を行って画像処理を施し、その画像をメモリ２２の画像データエリア２５に出力する。なお、画像の出力先は画像データエリア２５に限らず、外付けの外部メモリ２６であってもよい。

＜画像合成の具体例＞
ここで、上述した画像合成処理について従来の画像合成処理と比較しながら具体例をあげて説明する。
図６及び図７に示すように、例えば、シャッタースピード１秒で撮像した画像を露出の長い画素データＰｌとし、シャッタースピード０．５秒で撮像した画像を露出の短い画素データＰｓとする。露出量の比を補正するため、画素データＰｓの各画素を２倍した画素データをＰｓ’とする。画素データＰｓのデータの範囲は、例えば、０〜２５５であるとした場合、画素データＰｓ’のデータの範囲は０〜５１１となる。
このとき、図６（ａ）（ｂ）中の領域Ａに注目すると、図６（ｃ）の画像の位置と輝度値との関係を示すグラフにも表れているように、画素データＰｌと画素データＰｓでは、輝度が変化する位置が異なる。
このような場合に、単に輝度閾値を境界として画素データを決定すると、例えば、th0≦２００であれば画素データＰｌを用い、th0＞２００であれば画素データＰｓ’を用いて画像を合成すると、境界が二重になることがある。
ところが、画素データＰｌと画素データＰｓ’の差の上限輝度閾値th1＝３０とすると、輝度がth0≦２００のときには、上限輝度閾値th1≧３０となったときに式（２）の重み平均により画素データを決定するので、図８に示すように、境界付近における輝度の変化を緩やかにすることができ、境界が二重になることを防止できる。

＜撮像装置の作用効果＞
実施形態１における撮像装置１によれば、ユーザによる操作入力部１７の入力操作により露出の異なる複数の画像を撮像し、制御部２０は、撮像された画像から被写体の位置の変化を抽出し、各画像を一つの撮像画像に合成する。画像を合成する際においては、制御部２０は、各画像の画素の輝度値Ｙｌ，Ｙｓを算出し、各画像の同じ位置における画素の輝度値Ｙｌ，Ｙｓを比較して露出補正値ｋを算出し、最も露出の長い画像の輝度値Ｙｌの値と最も露出の短い画像の輝度値Ｙｓに露出補正値ｋを乗じた値との輝度差Ｓａを算出する。

制御部２０は、合成される画像のうち、最も露出の短い画像における所定位置の輝度値Ｙｓが輝度閾値th0以下である場合、又は、最も露出の短い画像における所定位置の輝度値Ｙｓが輝度閾値th0よりも大きくかつ輝度差Ｓａが上限輝度閾値th2よりも大きい場合には、合成後の画素データＰｃは、最も露出の短い画像の画素データＰｓに露出補正値ｋを乗じた値に決定する。また、制御部２０は、合成される画像のうち、最も露出の短い画像における所定位置の輝度値Ｙｓが輝度閾値th0以下であり、輝度差Ｓａが下限輝度閾値th1以下である場合には、合成後の画素データＰｃは、最も露出の長い画像の画素データＰｌの値に決定する。また、制御部２０は、合成される画像のうち、最も露出の短い画像における所定位置の輝度値Ｙｓが輝度閾値th0以下であり、輝度差Ｓａが下限輝度閾値th1より大きく上限輝度閾値th2以下である場合には、合成後の画素データＰｃは、式（２）により算出された画素データの値として決定する。
そして、制御部２０は、合成された合成画像を圧縮し、その圧縮画像に画像処理を施して処理後の画像をメモリ２２に記憶させる。

これにより、実際に撮像した画像の画素の輝度値Ｙｌ，Ｙｓから露出補正値ｋを算出し、この露出補正値ｋと各画素の輝度の差により合成画像の画素データＰｃを決定しているので、撮像画像中の物体の境界の不連続性を軽減することができる。また、撮像時に撮像装置１が動くことにより生じる視差により、画像間で異なるものが写って合成画像が不自然となる不具合を解決することができる。

（実施形態２）
次に、本発明の実施形態２について説明する。実施形態２が実施形態１と異なる点は、撮像画像を合成する際の画素データの決定方法であるため、画素データの決定方法について説明し、その他の共通部分は同一符号を付して説明を省略する。
＜撮像装置の構成＞
図９及び図１０に示すように、実施形態２における撮像装置２の制御部３０のメモリ３２内に形成されているプログラムエリア３４には、異なる露出で撮像された、例えば、二つの画像データを比較して被写体の位置の変化を抽出する位置変化抽出プログラム３４ａが記憶されている。すなわち、ＣＰＵ２１が位置変化抽出プログラム３４ａを実行することにより、制御部２０は位置変化抽出手段として機能する。
また、プログラムエリア３４には、各画像を合成して一つの撮像画像を作成する画像合成プログラム３４ｂが記憶されている。すなわち、ＣＰＵ２１が画像合成プログラム３４ｂを実行することにより、制御部３０は画像合成手段として機能する。
この画像合成プログラム３４ｂは、複数のプログラムにより構成されている。具体的に、画像合成プログラム３４ｂは、二つの画像の画素の輝度値Ｙｌ，Ｙｓを算出する輝度算出プログラム３４ｃを有する。すなわち、ＣＰＵ２１が輝度算出プログラム３４ｃを実行することにより、制御部３０は輝度算出手段として機能する。
また、画像合成プログラム３４ｂは、輝度算出プログラム３４ｃにより算出された二つの画像の同じ座標位置における画素の輝度値を比較して露出補正値ｋを算出する補正値算出プログラム３４ｄを有する。すなわち、ＣＰＵ２１が補正値算出プログラム３４ｄを実行することにより、制御部３０は補正値算出手段として機能する。
また、画像合成プログラム３４ｂは、合成後の合成画像の画素データＰｃを決定するための画素データ決定プログラム３４ｅを有する。すなわち、ＣＰＵ２１が画素データ決定プログラム３４ｅを実行することにより、制御部３０は画素データ決定手段として機能する。

具体的に、画素データ決定プログラム３４ｅは、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値th0より大きい場合には、合成後の画素データＰｃは、第２の画像の画素データＰｓに露出補正値ｋを乗じた値とする。
また、画素データ決定プログラム３４ｅは、合成される画像のうち、第２の画像における所定位置の画素の周辺画素の輝度値の全てが所定の輝度閾値th0以下である場合には、合成後の所定位置の画素データＰｃは、第１の画像の画素データＰｌの値とする。
また、画素データ決定プログラム３４ｅは、合成される画像のうち、第２の画像における所定位置の画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0以下であり、第２の画像における所定位置の画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0よりも大きい場合には、合成後の画素データＰｃは、第２の画像における画素データＰｓに露出補正値ｋを乗じた値と第１の画像における画素データＰｌの値とに基づいて定められた画素データの値とする。この場合には、合成される二つの画素データの重み平均を採用する。すなわち、任意の係数ｎ（０＜ｎ＜１）を設定し、合成画素の画素データＰｃを以下の式（３）で算出された値としている。ここで、任意の係数ｎは、周辺画素のうち、所定の輝度閾値th0よりも輝度の高い画素数から決定される。具体的には、周辺画素数に対する輝度閾値th0よりも輝度の高い画素数の割合により決定される。
Ｐｃ＝ｎ×Ｐｌ＋（１−ｎ）×ｋ×Ｐｓ・・・・・・・（３）

また、プログラムエリア３４には、画像合成プログラム３４ｂにより合成された合成画像を圧縮する画像圧縮プログラム３４ｆが記憶されている。
また、プログラムエリア３４には、画像圧縮プログラム３４ｆにより圧縮された圧縮画像に画像処理を施す画像処理プログラム２４ｇが記憶されている。

＜撮像方法＞
撮像装置による撮像方法について説明する。
図１１に示すように、ユーザが操作入力部１７を構成する撮像ボタン（図示略）を押下すると、光学系１１が捉えているシーンが光電変換部１２に集光され、光電変換部１２はデジタル画像を作成する。このとき、光電変換部１２が有する電子シャッタや光学系１１が有する機械式シャッタにより露出時間を変化させて二つの画像の撮像が行われる。光電変換部１２で作成されたデジタル画像はメモリ２２の画像データエリア２５に一時的に記憶される（ステップＳ２１：撮像工程）。
次いで、ＣＰＵ２１は、位置変化抽出プログラム３４ａを実行することにより、露出の異なる二つの画像から被写体の位置の変化を抽出する（ステップＳ２２：位置変化抽出工程）。被写体の位置の変化を抽出するには、撮像された画像の特徴点を抽出する。特徴点の抽出に当たっては、ＫＬＴ法等の方法で画像の固有値を有限個抽出して特徴点とする。そして、抽出された特徴点が次の画像においてどこに移動したかを知るため、特徴点に最も近い点を探す。これを複数の特徴点で行い、二つの画像間で特徴点の位置座標を対応させ画像の変換行列を求める。

次いで、ＣＰＵ２１は、画像合成プログラム３４ｂを実行することにより、二つの画像を合成して一つの撮像画像を作成する（ステップＳ２３〜ステップＳ２５：画像合成工程）。
ＣＰＵ２１が輝度算出プログラム３４ｃを実行すると、ＣＰＵ２１は撮像された二つの画像のうち、第１の画像の輝度値Ｙｌと第２の画像の輝度値Ｙｓが算出される（ステップＳ２３：輝度算出工程）。
次いで、ＣＰＵ２１が補正値算出プログラム３４ｄを実行することにより、ＣＰＵ２１は撮像された両画像の同じ座標位置にある輝度値Ｙｌと輝度値Ｙｓとの比を全ての画素について算出し、これらの比の平均を露出補正値ｋとして算出する（ステップＳ２４：補正値算出工程）。このとき、輝度値Ｙｌが一定の範囲内にあるときのみ露出補正値ｋを算出する。一定の範囲を大きく外れた輝度値を考慮すると、適切な露出補正値ｋが得られないからである。また、二つの画像の同じ位置とは、ステップＳ２２で算出された変換行列により両画像の位置合わせを行った後の同じ位置をいう。

次いで、ＣＰＵ２１が画素データ決定プログラム３４ｅを実行することにより、合成画像の画素データを決定する（ステップＳ２５：画素データ決定工程）。
図１２に示すように、ステップＳ２５において、ＣＰＵ２１は第２の画像の周辺画素の輝度値Ｙｓが全て輝度閾値th0である２００よりも大きいか否かを判断する（ステップＳ５１）。ここで、ＣＰＵ２１が、周辺画素の全ての輝度値Ｙｓが２００よりも大きいと判断した場合（ステップＳ５１：ＹＥＳ）、ＣＰＵ２１は合成画像の画素データＰｃを第２の画像の画素データＰｓに露出補正値ｋを乗じた値（ｋ×Ｐｓ）に決定し（ステップＳ５２）、本処理を終了させる。一方、ＣＰＵ２１が、少なくとも一つの輝度値Ｙｓが２００以下であると判断した場合（ステップＳ５１：ＮＯ）、ＣＰＵ２１は第２の画像の周辺画素の輝度値Ｙｓが全て輝度閾値th0である２００以下であるか否かを判断する（ステップＳ５３）。

ステップＳ５３において、ＣＰＵ２１が、第２の画像の周辺画素の輝度値Ｙｓが全て閾値th0である２００以下であると判断した場合（ステップＳ５３：ＹＥＳ）、ＣＰＵ２１は合成画像の画素データＰｃを第１の画像の画素データＰｌの値に決定し（ステップＳ５４）、本処理を終了させる。一方、ＣＰＵ２１が、少なくとも一つの輝度値Ｙｓが２００よりも大きいと判断した場合（ステップＳ５３：ＮＯ）、ＣＰＵ２１は、周辺画素のうち、輝度値が２００以上の画素数からｎを決定する（ステップＳ５５）。このｎは、周辺画素数全体に占める輝度値が２００以上の画素数の割合で表される。
次いで、ＣＰＵ２１によりｎが算出されると、ＣＰＵ２１は、合成される二つの画素データの重み平均を採用する。すなわち、式（３）により算出された値を合成画像の画素データとし（ステップＳ５６）、本処理を終了させる。

ステップＳ２３〜ステップＳ２５により、画像の合成が終了すると、ＣＰＵ２１は、画像圧縮プログラム３４ｆを実行することにより、合成画像を出力に合わせてガンマ変換による圧縮方法により圧縮する（ステップＳ２６：画像圧縮工程）。合成画像を圧縮した後、ＣＰＵ２１は、画像処理プログラム３４ｇを実行することにより、圧縮画像のガンマ補正、色補正等を行って画像処理を施し、その画像をメモリ２２の画像データエリア２５に出力する。なお、画像の出力先は画像データエリア２５に限らず、外付けの外部メモリ２６であってもよい。

＜画像合成の具体例＞
ここで、上述した画像合成処理について具体例をあげて説明する。
図１３に示すように、シャッタースピード１秒で撮像した画像を露出の長い第１の画素データＰｌとし、シャッタースピード０．５秒で撮像した画像を露出の短い第２の画素データＰｓとする。露出量の比を補正するため、画素データＰｓの各画素を２倍した画素データをＰｓ’とする。画素データＰｓのデータの範囲は０〜２５５であるため、画素データＰｓ’のデータの範囲は０〜５１１となる。
このとき、図１３中の領域Ａに注目すると、グラフにも表れているように、画素データＰｌと画素データＰｓでは、輝度が変化する位置が異なる。
このような場合に、ある画素の周辺画素をみて、輝度閾値th0よりも輝度の大きな画素と輝度閾値th0以下の輝度の画素とが併存している場合には、画素データＰｌと画素データＰｓ’の重み平均により画素データを決定するので、図１３に示すように、境界付近における輝度の変化を緩やかにすることができ、境界が二重になることを防止できる。

＜撮像装置の作用効果＞
実施形態２における撮像装置によれば、ユーザによる操作入力部１７の入力操作により露出の異なる複数の画像を撮像し、制御部３０は、撮像された画像から被写体の画像内における位置の変化を抽出し、画像合成手段により各画像を一つの撮像画像に合成する。画像を合成する際においては、制御部３０は、各画像の画素の輝度値Ｙｌ，Ｙｓを算出する。制御部３０は、算出された各画像の同じ位置における画素の輝度値Ｙｌ，Ｙｓを比較して露出補正値ｋを算出する。

制御部３０は、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値th0より大きい場合には、合成後の画素データＰｃは、第２の画像の画素データＰｓに露出補正値ｋを乗じた値に決定する。また、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値th0以下である場合には、合成後の画素データＰｃは、第１の画像の画素データＰｌの値に決定する。また、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0以下であり、第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0よりも大きい場合には、合成後の画素データＰｃは、第２の画像における画素データＰｓに露出補正値ｋを乗じた値と第１の画像における画素データＰｌの値とに基づいて定められた画素データの値とする。
そして、制御部３０は、合成された合成画像を圧縮するとともに、その圧縮画像に画像処理を施す。

これにより、実際に撮像した画像の画素の輝度値Ｙｌ，Ｙｓから露出補正値ｋを算出し、この露出補正値ｋと各画素の輝度値Ｙｌ，Ｙｓの差により合成画像の画素データを決定しているので、撮像画像中の物体の境界の不連続性を軽減することができる。

（変形例）
なお、本発明は上記実施形態に限られるものではない。実施形態１及び実施形態２においては、異なる露出で撮像され、合成される画像を二つとしたが、三つ以上の画像を合成するものであってもよい。その場合、露出補正値は、最も露出の長い画像を基準として、他の画像の露出補正値を算出すればよい。
具体的には、図１４に示すように、例えば、シャッタースピード１秒で撮像した画像を露出の長い画素データＰｌとし、シャッタースピード０．２５秒で撮像した画像を露出の短い画素データＰｓとし、シャッタースピード０．５秒で撮像した画像を適正な露出の画素データＰとする。
露出量の比を補正するため、画像Ｐｓの各画素を４倍した画素データをＰｓ’、画像Ｐの各画素を２倍した画素データをＰ’とする。データの範囲は、Ｐｓ’が、例えば、０〜１０２３とした場合、Ｐ’が０〜５１１となる。
ここで、画素データＰｌと画素データＰｓ’を合成する場合には、閾値th0≦２００であれば、画素データＰｌを用いて画像を合成し、閾値th0＞２００であれば、画素データＰｓ’を用いて画素データＰｌ＿ｓ’を作成する。
画素データＰｌ＿ｓ’に対して、周辺画素を用いた輝度調整を行い、画素データＰｂを作成する。
画素データＰｂの輝度値が、適正な露出の画素データＰ’のもつデータ範囲０〜５１１であれば、ＰｂとＰ’の平均を出力とし、それ以外のデータ範囲５１１〜１０２３は画素データＰｂを出力として、画素データＰoutを作成する。
そして、Ｐoutは、一般の画素データのデータ範囲０〜２５５にするため、４で割り、出力画像データとする。
このような方法により、画像を三枚撮っても画像を合成することができる。
その他、発明の範囲内で自由に設計変更が可能である。

撮像装置の構成を示すブロック図である。図１におけるプログラムエリアの構成を示すブロック図である。実施形態１における撮像方法を示すフローチャートである。露出補正値を算出するプロセスを説明する図である。実施形態１における画素データの決定方法を示すフローチャートである。露出の異なる二枚の撮像画像であり、（ａ）は露出が長い撮像画像、（ｂ）は露出が短い撮像画像である。境界が二重となる場合の画素データの決定方法について説明する図であり、（ａ）は撮像画像、（ｂ）は合成前と合成後の輝度の変化を示す図である。実施形態１における画素データの決定方法について説明する図であり、（ａ）は撮像画像、（ｂ）は合成前と合成後の輝度の変化を示す図である。実施形態２における撮像装置の構成を示すブロック図である。実施形態２におけるプログラムエリアの構成を示すブロック図である。実施形態２における撮像方法を示すフローチャートである。実施形態２における画素データの決定方法を示すフローチャートである。実施形態２における画素データの決定方法について説明する図であり、（ａ）は撮像画像、（ｂ）は合成前と合成後の輝度の変化を示す図である。三枚の撮像画像の合成方法を説明する図である。

符号の説明

１撮像装置
１７操作入力部（撮像手段）
２０制御部（位置変化抽出手段、画像合成手段、画像圧縮手段、輝度算出手段、補正値算出手段、輝度差算出手段、画素データ決定手段）

Claims

露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出手段と、
各画像を合成して一つの合成画像を作成する画像合成手段と、
を備え、
前記画像合成手段は、
各画像の画素の輝度値を算出する輝度算出手段と、
前記輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出手段と、
前記画像合成手段により合成される第１の画像の輝度値と前記第１の画像よりも露出の短い第２の画像の輝度値に前記露出補正値を乗じた値との輝度差を算出する輝度差算出手段と、
前記第２の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、前記第２の画像における輝度値が所定の輝度閾値よりも大きくかつ前記輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、前記第２の画像の画素データに前記露出補正値を乗じた値とし、
前記第２の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、前記第１の画像の画素データの値とし、
前記第２の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が前記下限輝度閾値より大きく前記上限輝度閾値以下である画素の合成後の画素データは、前記第１の画像の画素データと前記第２の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定手段と、
を備えることを特徴とする撮像装置。
露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出手段と、
各画像を合成して一つの合成画像を作成する画像合成手段と、
前記画像合成手段により合成された合成画像を圧縮する画像圧縮手段と、
を備え、
前記画像合成手段は、
各画像の画素の輝度値を算出する輝度算出手段と、
前記輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出手段と、
前記画像合成手段により合成される第１の画像と前記第１の画像よりも露出の短い第２の画像のうち、前記第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、前記第２の画像の画素データに前記露出補正値を乗じた値とし、
前記第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、前記第１の画像の画素データの値とし、
前記第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、前記第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、前記第１の画像の画素データと前記第２の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定手段と、
を備えることを特徴とする撮像装置。
前記画素データ決定手段により決定される前記第１の画像の画素データと前記第２の画像の画素データに前記露出補正値を乗じた値との間を補間する値は、
画素データの補間に用いる重み係数をｎ（０＜ｎ＜１）、第１の画像の画素データをＰｌ、第２の画像の画素データをＰｓ、露出補正値をｋとすると、
ｎ×Ｐｌ＋（１−ｎ）×ｋ×Ｐｓ
であることを特徴とする請求項１又は２に記載の撮像装置。
露出の異なる複数の画像を撮像する撮像工程と、
前記撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出工程と、
各画像を合成して一つの合成画像を作成する画像合成工程と、
を備え、
前記画像合成工程は、
各画像の画素の輝度値を算出する輝度算出工程と、
前記輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出工程と、
前記画像合成手段により合成される第１の画像の輝度値と前記第１の画像よりも露出の短い第２の画像の輝度値に前記露出補正値を乗じた値との輝度差を算出する輝度差算出工程と、
前記第２の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、前記第２の画像における輝度値が所定の輝度閾値よりも大きくかつ前記輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、前記第２の画像の画素データに前記露出補正値を乗じた値とし、
前記第２の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、前記第１の画像の画素データの値とし、
前記第２の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が前記下限輝度閾値より大きく前記上限輝度閾値以下である画素の合成後の画素データは、前記第１の画像の画素データと前記第２の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定工程と、
を備えることを特徴とする撮像方法。
露出の異なる複数の画像を撮像する撮像工程と、
前記撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出工程と、
各画像を合成して一つの合成画像を作成する画像合成工程と、
前記画像合成工程により合成された合成画像を圧縮する画像圧縮工程と、
を備え、
前記画像合成工程は、
各画像の画素の輝度値を算出する輝度算出工程と、
前記輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出工程と、
前記画像合成手段により合成される第１の画像と前記第１の画像よりも露出の短い第２の画像のうち、前記第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、前記第２の画像の画素データに前記露出補正値を乗じた値とし、
前記第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、前記第１の画像の画素データの値とし、
前記第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、前記第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、前記第１の画像の画素データと前記第２の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定工程と、
を備えることを特徴とする撮像方法。