JP5721552B2 - 撮像装置および画像合成方法 - Google Patents

Description

本発明は、撮像装置および画像合成方法に関する。

複数枚の画像を合成し、１枚の合成画像を記録することができる、デジタルカメラ等の撮像装置が提案されている。このような撮像装置の中には、被写体の明るさが適正となる適正露出よりも低い露出で撮像し、複数枚の低露出画像を積算合成する機能を持つ撮像装置がある。一般的に、暗い被写体を撮影する場合、露光量を増やすために露光時間が長くなるため、手ブレや被写体ブレが発生し易い。

撮像装置が、暗い被写体を撮影する場合に、適正露出よりも短い露光時間で撮像した複数の低露出画像に対し、画面間の被写***置合わせを行い、適正露出で撮像した場合と同じ明るさになるよう積算合成することが考えられる。これにより、手ブレや被写体ブレの少ない積算合成画像を得ることができる。

複数枚画像の積算合成する技術の例として、特許文献１は、予め撮影枚数を設定し、同一被写体を設定枚数だけ撮影して得られる画像を重ね合わせる電子カメラを開示する。

特開平１１−０６９２２６号公報

撮像装置が、露光時間の短い複数の低露出画像に対し、位置合わせを行い、積算合成することにより、手ブレや被写体ブレの少ない積算合成画像を得ることができる。しかし、低露出画像は、適正画像よりもＳ／Ｎ（Signal to Noise）が良くないので、積算合成によって得られる画像の画質が低下してしまうという課題がある。

本発明は、複数枚の低露出画像を積算合成する撮像装置であって、積算合成によって得られる画像の画質を向上させる撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、被写体の明るさが予め決められた明るさとなる第１の露出よりも低い第２の露出を算出する露出算出手段と、前記算出された第２の露出で被写体を撮像し、複数の低露出画像を出力する撮像手段と、前記出力された複数の低露出画像を積算合成して合成画像を生成する積算合成手段と、前記合成画像のトーンマッピングを行うトーンマッピング手段と、前記撮像手段によって撮像される被写体の動き量を検出する動き検出手段と、を備える。前記積算合成手段は、前記合成画像の露光量が前記第１の露出に対応する露光量以上になる枚数分、前記低露出画像を積算合成し、前記トーンマッピング手段は、前記動き検出手段が検出する動き量が小さいほど、前記合成画像に対して行うトーンマッピングのトーンマッピング特性を、暗部の階調圧縮率を高くするトーンマッピング特性にする。

本発明によれば、複数枚の低露出画像を積算合成する撮像装置であって、積算合成によって得られる画像のノイズの振幅を低減する撮像装置を提供することができる。従って、積算合成画像の画質が向上する。

本実施形態の撮像装置の構成例を示す図である。 合成枚数算出部と露出算出部の構成例を示す図である。 画像積算合成部の動作処理例を説明する図である。 画像積算合成部の動作処理例を説明する図である。 階調圧縮処理を説明する図である。 本実施形態の撮像装置の動作処理例を説明するフローチャートである。 複数枚の低露出画像の積算合成処理の例を説明する図である。

図７は、複数枚の低露出画像の積算合成処理の例を説明する図である。図７（Ａ）は、線形特性を持つ撮像デバイスにおける適正露出及び低露出の被写体照度と光電流（画素レベル）の関係を示す。符号Ｌ８０１は、適正露出の場合の被写体照度と光電流の関係を示す。符号Ｌ８０２は、低露出の場合の被写体照度と光電流の関係を示す。また、この例では、低露出は、適正露出に対し露光量が３分の１となる。

ある照度の被写体に対し、適正露出と低露出とで撮影を行った場合、低露出画像の方が、光電流が小さく、暗い画像が撮像されることになる。通常、被写体が白飛びしないよう適正露出が決定される。この場合の低露出画像の被写体は、適正露出画像に比べ３分の１の明るさで撮像されている。この関係を模式的に表した図が図７（Ｂ）である。

図７（Ｂ）は、露光時間を変更することにより、露出を変更する処理の例を示す。各画像が取り得る画素レベル範囲を斜線部分で示す。適正露出の露光時間は、１／１０秒である。低露出の露光時間は、１／３０秒である。低露出の露光量は、適正露出の３分の１になるため、低露出画像が取り得る画素レベル範囲が適正露出画像の３分の１になっている。このように撮影した低露出画像は、適正露出画像と比較して暗い画像になっている。しかし、露光時間が適正露出よりも短いため、手ブレや被写体ブレが少ない画像と言える。撮像した複数枚の低露出画像に対し、幾何変形等により被写***置を合わせ、図７（Ｂ）中に示す積算合成画像の例のように、低露出画像３枚を積算合成することにより、適正露出と同じ明るさで、且つ、手ブレや被写体ブレが少ない合成画像を得ることができる。

しかし、前述したように、低露出画像は、適正画像よりもＳ／Ｎが良くないので、積算合成によって得られる画像の画質が低下してしまうという課題がある。以下に説明する本実施形態の撮像装置によれば、この課題を解決することができる。

図１は、本実施形態の撮像装置の構成例を示す図である。図１に示す撮像装置は、レンズ１０１、撮像部１０２、Ａ（Analog）／Ｄ（Digital）変換部１０３を備える。また、この撮像装置は、カメラ信号処理部１０４、画像位置合わせ部１０５、合成枚数算出部１０６、露出算出部１０７、画像積算合成部１０８、トーンマッピング部１０９、画像記録部１１０、カメラ制御部１１１を備える。本実施形態の画像合成方法は、撮像装置における画像合成方法である。また、本実施形態の画像合成方法およびコンピュータプログラムは、図１に示す撮像装置が備える各処理部の機能によって実現される。

レンズ１０１は、被写体光を撮像部１０２に導く。レンズ１０１は、カメラ制御部１１１から出力される制御信号に対応して、ズーム動作や焦点整合動作などを行う。撮像部１０２は、カメラ制御部１１１からの指示に従い、撮像デバイスを用いて被写体を撮像する。撮像デバイスは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。そして、撮像部１０２は、撮像によって得た被写体光を電気信号に変換してＡ／Ｄ変換部１０３に出力する。

Ａ／Ｄ変換部１０３は、カメラ制御部１１１から設定される増幅率に応じて、アナログ信号を増幅し、ディジタル信号に変換する。カメラ信号処理部１０４は、Ａ／Ｄ変換部１０３より出力されたディジタル信号に対して、ホワイトバランスや輪郭強調等の画像処理を行い、映像信号を出力する。

画像位置合わせ部１０５は、画面間の動きベクトルに応じて、画像を幾何変形することにより、画面間の被写***置を合わせ、画面間の動きを抑制する。画像位置合わせ部１０５による画像位置合わせにより、例えば、手ブレといったような画面全体の動きを低減することができる。合成枚数算出部１０６は、画像積算合成部１０８が積算合成する画像の枚数（積算合成枚数）を算出する。

合成枚数算出部１０６は、画像積算合成部１０８による積算合成によって得られる合成画像の露光量が適正露出に対応する露光量以上になる枚数を積算合成枚数として算出する。適正露出は、被写体の明るさが予め決められた明るさとなる第１の露出である。

露出算出部１０７は、撮像部１０２が撮像に用いる露出を算出する。具体的には、露出算出部１０７は、適正露出よりも低い第２の露出（低露出）を算出する。カメラ制御部１１１は、撮像装置全体を制御する。カメラ制御部１１１および撮像部１０２は、第２の露出で被写体を撮像し、複数の低露出画像を出力する撮像手段として機能する。

画像積算合成部１０８は、合成枚数算出部１０６から、合成枚数算出部１０６が算出した積算合成枚数を取得する。また、画像積算合成部１０８は、画像位置合わせ部１０６から、画像位置合わせ部１０６が出力する位置合い画像すなわち複数の低露出画像を取得する。そして、画像積算合成部１０８は、画像位置合わせ部１０６取得した低露出画像を、合成枚数算出部１０６が算出した積算合成枚数分、積算合成して合成画像を生成する積算合成手段として機能する。

トーンマッピング部１０９は、合成画像にトーンマッピングを行う。トーンマッピング部１０９は、例えば、ガンマ処理のような非線形処理により、合成画像の階調圧縮を行う。画像記録部１１０は、トーンマッピング部１０９がトーンマッピングした画像を記録する。

図２は、合成枚数算出部と露出算出部の構成例を示す図である。図２（Ａ）は、合成枚数算出部１０６の構成例を示す。合成枚数算出部１０６は、動き量算出部２０１と合成枚数決定部２０２とを備える。動き量算出部２０１は、画像位置合わせ部１０５から出力された位置合い画像を入力し、入力した画像のフレーム間画素差分値の大きさに基づいて、動き量を算出（検出）する。すなわち、動き量算出部２０１は、撮像部１０２によって撮像される複数の低露出画像間の動き量を検出する動き検出手段として機能する。

例えば、被写体が動いている場合は、フレーム間画素差分値が大きくなるため、動き量が大きくなる。合成枚数決定部２０２は、動き量算出部２０１から出力された動き量に応じて、画像積算合成部１０８が積算合成する低露出画像の枚数（積算合成枚数）を決定する。

図２（Ｂ）は、露出算出部の構成例を示す図である。図２（Ｂ）は、露出算出部１０７の構成例を示す。露出算出部１０７は、動き量算出部３００、輝度積算値算出部３０１、露出決定部３０２を備える。

輝度積算値算出部３０１は、画像位置合わせ部１０５から出力された位置合い画像を入力し、被写体の明るさを表す輝度に変換し、輝度積算値を算出する。輝度積算値は、複数の低露出画像の輝度の積算値である。例えば、明るい画像であれば、輝度積算値は大きい値となる。

動き量算出部３００は、図２（Ａ）中に示す動き量算出部２０１と同様の機能を有する。動き量算出部３００は、画像位置合わせ部１０５が出力した位置合い画像を入力し、該画像のフレーム間画素差分値の大きさに基づいて、動き量を算出する。露出決定部３０２は、輝度積算値算出部３０１が算出した輝度積算値と、動き量算出部３００が算出した動き量に応じて、次画像の露出を決定する（撮像部１０２が被写体の撮像に用いる第２の露出を変更する）。

露出決定部３０２が、輝度積算値算出部３０１が算出した輝度積算値と、動き量算出部２０１が算出した動き量に応じて、次画像の露出を決定するようにしてもよい。具体的な露出の決定方法については、後述する。

図３および図４は、画像積算合成部の動作処理例を説明する図である。画像積算合成部１０８は、露出算出部１０７が算出された露出で撮影された画像を、合成枚数算出部１０６が算出した積算合成枚数分、積算合成する。本実施形態においては、絞り値は固定で、露光時間を変更し、露出を制御するものとする。

図３は、積算合成枚数の変更処理の一例を示す。この例では、露光時間を１／３０秒固定とし、合成枚数算出部１０６は、動き量算出部２０１により算出された動き量に応じて積算合成枚数を変更する。

図３中の斜線部は、画像位置合わせ部１０５から出力された位置合い画像の画素レベル範囲を示す。この例では、Ａ／Ｄ変換部１０３の量子化精度は１２ｂｉｔである。一般的に、適正露出で撮影を行うと、白飛びや黒潰れをしない露出で撮影されるため、適正露出画像の画素レベル範囲は、０〜４０９５までの範囲となる。本実施形態の撮像装置は、適正露出よりも低い露出で撮影を行う。

図３に示す例では、適正露出の露光時間が１／１０秒であるのに対し、低露出画像の露光時間は、１／３０秒である。低露出画像は、露光量が３分の１であるため、画素レベル範囲が適正露出画像の３分の１の範囲であり、従って、暗い画像となっている。このような暗い低露出画像を画像積算合成部１０８が複数枚積算合成することにより、明るい積算合成画像を得ることが可能となる。この例では、低露出画像を３枚積算合成すると、適正露出画像と同じ明るさ（画素レベル範囲）となる。

低露出画像は、露光量が適正露出に比べて小さくなるが、露光時間を短くすることにより、適正露出と比べ、被写体ブレや手ブレを抑えた画像を記録することができる。このような低露出画像に対し、画像位置合わせ部１０５が、手ブレ等の画面全体の位置を合わせ、積算合成を行う。これにより、適正露出で撮影した画像に比べ、ブレの少ない積算合成画像を記録することが可能となる。しかしながら、画面全体の動きではなく、被写体動きといった部分的な動きを位置合わせすることは非常に困難である。そのため、例えば、部分的な動き領域を積算合成すると被写体像が２重になってしまうことがある。

画像積算合成部１０８は、合成枚数算出部１０６が算出した積算合成枚数分の積算合成を行う。合成枚数算出部１０６の合成枚数決定部２０２は、動き量算出部２０１が算出（検出）した低露出画像画面間での動き量が小さいほど、決定する積算合成枚数を多くする。また、合成枚数決定部２０２は、動き量算出部２０１が算出（検出）した複数の低露出画像画面間での動き量が大きいほど、決定する積算合成枚数を少なくする。

図３に示す例では、動き量が小さい場合（所定の動き量未満の場合）、積算合成画像の露光量が適正露出画像の露光量以上となるように、合成枚数算出部１０６は、積算合成枚数として６枚を算出する。また、動き量が大きい場合（所定の動き量以上の場合）は、積算合成画像の露光量が適正露出画像の露光量以上となるように、合成枚数算出部１０６は、積算合成枚数として３枚を算出する。このように、動き量が大きい場合に、積算合成枚数を減らすことにより、被写体像が２重になることを抑制することができる。

図４は、積算合成枚数の変更処理の他の例を示す。この例では、積算合成枚数は３枚固定とする。また、合成枚数算出部１０６は、動き量算出部２０１により算出された動き量に応じて、露光時間を変更する。図４中の斜線部は、画像位置合わせ部１０５から出力された位置合い画像の画素レベル範囲を示す。なお、Ａ／Ｄ変換部１０３の量子化精度は、１２ｂｉｔである。この例においても、撮像装置は、適正露出よりも低い露出で撮影を行う。

図４に示す例では、適正露出の露光時間が１／１０秒であるのに対し、低露出画像の露光時間は、１／２０秒である。すなわち、低露出画像は、露光量が２分の１になっている。従って、適正露出に比べ、画素レベル範囲が適正露出画像の２分の１の範囲であり、暗い画像である。このような暗い低露出画像を、画像積算合成部１０８が、複数枚積算合成することにより、明るい積算合成画像を得る。この例では、低露出画像を２枚積算合成すると、適正露出画像と同じ明るさ（画素レベル範囲）となるものとする。

画像積算合成部１０８は、３枚の位置合い画像の積算合成を行う。露出制御部１０７は、低露出画像画面間での動き量が小さい場合は、露光時間を長くする。露出算出部１０７の露出決定部３０２は、複数の低露出画像画面間での動き量が大きい場合は、露光時間を短くする。すなわち、露出算出部１０７は、動き量が大きいほど、撮像部１０２が被写体の撮像に用いる露出を低くする。

図４に示す例では、動き量が小さい場合は、露出決定部３０２が、露光時間を１／２０秒とすることにより、積算合成画像の露光量が、適正露出画像の露光量以上の露光量となるようにする。また、動き量が大きい場合は、露出決定部３０２は、露光時間を１／３０秒とすることにより、積算合成画像の露光量が、適正露出画像と同じ露光量となるようにする。このように、動き量が大きいときに露光時間を短くすることにより、露光期間中に被写体が動いたときに発生する被写体ブレを低減することができる。

図５は、トーンマッピング部による階調圧縮処理を説明する図である。図５中に示すグラフは、階調圧縮処理のトーンカーブを示す。横軸は、入力画素レベルであり、縦軸は、出力画素レベルである。

トーンマッピング部１０９は、画像積算合成部１０８が積算合成した画像の画素レベル範囲に応じて、トーンカーブの特性（トーンマッピング特性）を変更する。例えば、画像積算合成部１０８が出力する画像が、動き量が小さい積算合成画像の場合、トーンマッピング部１０９は、図５中の符号Ｌ６０１で示すトーンカーブで階調圧縮処理を行う。また、例えば、画像積算合成部１０８が出力する画像が、動き量が大きい積算合成画像の場合、トーンマッピング部１０９は、図５中の符号Ｌ６０２で示すトーンカーブで階調圧縮処理を行う。

トーンカーブ特性Ｌ６０１とＬ６０２とを比較すると、トーンカーブ特性Ｌ６０１の方が、特に暗部の階調圧縮率が高い。動き量が小さい積算合成画像をトーンマッピングした画像は、動き量大の積算合成画像よりも階調圧縮率が高い。すなわち、トーンマッピング部１０９は、動き量算出部２０１（３００）が算出する動き量が小さいほど、積算合成画像に対して行うトーンマッピングのトーンマッピング特性を、暗部の階調圧縮率を高くするトーンマッピング特性にする。これにより、ノイズ振幅が小さくなり、画質が向上する。

また、トーンマッピング部１０９が、Ａ／Ｄ変換部１０３のアナログ信号増幅率の大きさに応じて、トーンカーブを変更するようにしてもよい。具体的には、トーンマッピング部１０９は、Ａ／Ｄ変換部１０３のアナログ信号増幅率が高い場合は、暗部の階調圧縮率を高くする。また、トーンマッピング部１０９は、Ａ／Ｄ変換部１０３のアナログ信号増幅率が低い場合は、暗部の階調圧縮率を低くする。Ａ／Ｄ変換部１０３のアナログ信号増幅率を高くすると、ノイズの振幅が大きくなるが、トーンマッピング部１０９がトーンカーブ特性を上記のように変更することにより、暗部に発生するノイズの振幅を小さくすることができる。

図６は、本実施形態の撮像装置の動作処理例を説明するフローチャートである。まず、撮像装置の電源が投入される（ステップＳ１）。次に、合成枚数算出部１０６が、積算合成枚数を初期値に設定する（ステップＳ２）。合成枚数算出部１０６は、積算合成枚数を例えば３枚に設定する。

次に、露出算出部１０７が、露出を初期値に設定する（ステップＳ３）。露出算出部１０７は、露光時間を例えば１／３０秒に設定する。続いて、カメラ制御部１１１が、仮撮影を行う。仮撮影中は、カメラ制御部１１１が、撮像装置の表示部（不図示）に、撮像した画像を表示する。

次に、動き量算出部２０１が、動き量を算出する（ステップＳ５）。そして、合成枚数決定部２０２が、ステップＳ５において算出された動き量に基づいて、積算合成枚数を決定する（ステップＳ６）。続いて、露出決定部３０２が、輝度積算値算出部３０１が算出した輝度積算値と、動き量算出部２０１（３００）が算出した動き量に基づいて、次画像の露出を決定する。なお、撮像装置が、積算合成枚数及び露出の双方を変更するように動作してもよいし、いずれか一方は固定、もう一方は変更するように動作してもよい。

次に、カメラ制御部１１１が、シャッターが押下されたかを判断する（ステップＳ８）。カメラ制御部１１１が、シャッターが押下されていないと判断した場合は、ステップＳ４に戻る。そして、シャッターが押下されるまでの間、ステップ４乃至７の処理が繰り返される。これにより、積算合成枚数と露出とが更新される。

カメラ制御部１１１が、シャッターが押下されたと判断した場合、カメラ制御部１１１は、上記ステップ７で決定された露出で本撮影を行う（ステップＳ９）。続いて、画像積算合成部１０８が、上記ステップ６で決定された積算合成枚数分の画像を積算合成する（ステップＳ１０）。そして、トーンマッピング部１０９が、ステップＳ１０において積算合成された画像をトーンマッピングし（ステップＳ１１）、画像記録部１１０に記録する。

以上のような動作により、適正露出で撮像する露光量よりも大きい露光量になるように、複数枚の低露出画像を積算合成し、トーンマッピングを行うことにより、ノイズの振幅を低減することができる。そのため、積算合成画像の画質が向上する。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１ レンズ
１０２ 撮像部
１０５ 画像位置合わせ部
１０６ 合成枚数算出部
１０７ 露出算出部
１０８ 画像積算合成部
１０９ トーンマッピング部
１１１ カメラ制御部

Claims (8)

1. 被写体の明るさが予め決められた明るさとなる第１の露出よりも低い第２の露出を算出する露出算出手段と、
   前記算出された第２の露出で被写体を撮像し、複数の低露出画像を出力する撮像手段と、
   前記複数の低露出画像を積算合成して合成画像を生成する積算合成手段と、
   前記合成画像のトーンマッピングを行うトーンマッピング手段と、
   前記撮像手段によって撮像される被写体の動き量を検出する動き検出手段と、を備え、
   前記積算合成手段は、前記合成画像の露光量が前記第１の露出に対応する露光量以上になる枚数分、前記低露出画像を積算合成し、
   前記トーンマッピング手段は、前記動き検出手段が検出する動き量が小さいほど、前記合成画像に対して行うトーンマッピングのトーンマッピング特性を、暗部の階調圧縮率を高くするトーンマッピング特性にする
   ことを特徴とする撮像装置。
2. 前記動き検出手段が検出する動き量に応じて、前記積算合成手段が積算合成する低露出画像の枚数を決定する合成枚数決定手段とを備える
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記合成枚数決定手段は、前記動き検出手段が検出する動き量が大きいほど、前記決定する低露出画像の積算合成枚数を少なくする
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記露出算出手段は、前記撮像手段によって撮像される前記複数の低露出画像の輝度の積算値と、前記動き検出手段によって検出された動き量とに基づいて、前記撮像手段が前記被写体の撮像に用いる前記第２の露出を変更する
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記露出算出手段は、前記動き検出手段が検出する動き量が大きいほど、前記撮像手段が前記被写体の撮像に用いる前記第２の露出を低くする
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記露出算出手段は、露光時間を変更することにより前記第２の露出を変更する
   ことを特徴とする請求項４または請求項５に記載の撮像装置。
7. 撮像装置における画像合成方法であって、
   被写体の明るさが予め決められた明るさとなる第１の露出よりも低い第２の露出を算出する露出算出工程と、
   前記算出された第２の露出で被写体を撮像し、複数の低露出画像を出力する撮像工程と、
   前記複数の低露出画像を積算合成して合成画像を生成する積算合成工程と、
   前記合成画像のトーンマッピングを行うトーンマッピング工程と、
   前記撮像工程において撮像される被写体の動き量を検出する動き検出工程と、を有し、
   前記積算合成工程では、前記合成画像の露光量が前記第１の露出に対応する露光量以上になる枚数分、前記低露出画像を積算合成し、
   前記トーンマッピング工程では、前記動き検出工程で検出される動き量が小さいほど、前記合成画像に対して行うトーンマッピングのトーンマッピング特性を、暗部の階調圧縮率を高くするトーンマッピング特性にする
   ことを特徴とする画像合成方法。
8. 請求項７に記載の画像合成方法をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images