JP6643109B2 - 撮像装置、その制御方法とプログラム - Google Patents

Description

本発明は、間欠的な撮像を実行できる撮像装置と、その制御方法及びプログラムに関する。

従来、所定の撮像間隔で間欠的な撮像を実行する技術として所謂インターバル撮影が知られている。また、間欠的な撮像を実行することで取得した画像を順につなぎ合せることで、被写体の時間的な変化を圧縮したような動画像（所謂タイムラプス動画）を取得する技術が知られている。

特許文献１では、インターバル撮影において撮像ごとに自動露出制御を実行する場合に、撮像のコマ間で明るさが大きく変化することで、各コマを連続して鑑賞する際に（ユーザが）違和感を覚えてしまう、という問題が提起されている。

この問題に対し、特許文献１では、インターバル撮影において、自動露出制御処理によって決定された適正露出値を過去の自動露出制御処理における適正露出値の履歴に基づいて平滑化する技術について提案されている。

特開２０１４−２３５１８３号公報

ここで、タイムラプス動画用にインターバル撮影を実行する場合は、間欠的な撮像間における被写体の明るさの変化が小さければ、撮像間で露出を変更ない方がよい場合がある。この場合について図６を参照して具体的に説明する。図６は、夕方から夜にかけて時間的に変化する撮像シーンにおいて間欠的な撮像を実行した場合の、輝度ＢｖＲｅａｌの時間的な推移を例示的に説明した図である。なお、輝度ＢｖＲｅａｌは、被写体全体（画像全体）を測光した測光結果である。また、図６において、縦軸はＡＰＥＸ単位で示した輝度ＢｖＲｅａｌを示し、横軸は時間経過（秒）を示している。

図６に図示するように、夕方から夜に時間が推移すると、日が沈むことに応じて被写体の全体的な明るさは徐々に暗くなる。また、このような環境光の時間的な変化とは別に、画像内に存在する光源（例えば、街灯が明滅など）の影響により、不規則に明るさが小変動すると被写体全体の輝度ＢｖＲｅａｌも小変動する。この輝度ＢｖＲｅａｌの小変動に応じて間欠的な撮像毎に露出を変更すると、取得した画像間で各被写体の明るさが細かく変化してしまう。したがって、この画像同士をつなぎ合せたタイムラプス動画には、各被写体の明るさの変化に起因して不自然なちらつきが生じてしまうため、タイムラプス動画を鑑賞するユーザに違和感を与えてしまう。以上説明したように、間欠的な撮像間における被写体の明るさの変化が小さい場合は、撮像間で不必要に露出を変更しないことが望ましい。

しかしながら、特許文献１に記載の技術では、インターバル撮影における撮像間での被写体の明るさの変化が小さい場合であっても、過去の露出値に基づいて上述した適正露出値の平滑化が実行されてしまう。したがって、特許文献１に記載の技術では、間欠的な撮像における被写体の明るさが大きい場合と小さい場合の両方に対応させて、撮像時の露出をバランスよく変更することは困難である。

本発明の目的は、被写体の明るさの変化が大きい場合および小さい場合に、間欠的な撮像により取得された画像をつなぎ合せた動画像にちらつきが生じるのを抑制することである。

上記目的を達成する本発明の撮像装置は、撮像手段を備え、間欠的な撮像を実行することで取得した画像をつなぎ合せた動画像を取得するために、前記撮像手段を用いて間欠的な撮像を実行するモードを設定できる撮像装置であって、被写体を測光して第１の輝度を取得する輝度取得手段と、撮像時の露出制御を実行する露出制御手段と、前記露出制御手段が撮像時の露出制御に用いる第２の輝度を設定する輝度設定手段と、を有し、前記輝度設定手段は、前記モードにおいて、第１の撮像の次の第２の撮像に対応させて取得した第１の輝度が前記第１の撮像に用いた第２の輝度を基準とした所定の範囲に含まれる場合に、前記第２の撮像に用いる第２の輝度を前記第１の撮像に用いた第２の輝度と略同一の値に設定し、前記第２の撮像に対応させて取得した第１の輝度が前記所定の範囲に含まれない場合に、前記第２の撮像に対応させて取得した第１の輝度と前記第１の撮像に用いた第２の輝度とを用いた演算の結果に基づいて、前記第２の撮像に用いる第２の輝度を設定することを特徴とする。

本発明によれば、被写体の明るさの変化が大きい場合および小さい場合において、間欠的な撮像により取得された画像をつなぎ合せた動画像にちらつきが生じるのを抑制することができる。

本発明を実施した撮像装置の実施形態であるデジタルカメラ１００の構成例を示すブロック図である。 本発明の実施形態に係るデジタルカメラ１００の背面図である。 本発明の実施形態に係るタイムラプスモードにおける撮像処理を説明するフローチャートである。 本発明の実施形態に係る輝度補正処理を説明するフローチャートである。 本発明の実施形態に係る輝度補正処理を適用した場合の輝度変動を例示的に説明した図である。 夕方から夜にかけて時間的に変化する撮影シーンにおいて間欠的な撮像を実行した場合の、輝度の時間的な推移を例示的に説明した図である。

（実施形態）
（デジタルカメラ１００の基本構成）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。図１は、本発明を実施した撮像装置の実施形態であるデジタルカメラ（以下、単にカメラと称す）１００の構成例を示すブロック図である。図２は、本発明の実施形態に係るカメラ１００の背面図である。

なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

図１に図示するように、撮像レンズ１０１は、フォーカスレンズ、ズームレンズ、シフトレンズなどのレンズ群を含む光学部材であって、被写体の光束をカメラ１００の内部へと導く。ＮＤフィルタ１０２は、撮像レンズ１０１を介して通過した光を減光する減光手段である。絞り１０３は、撮像レンズ１０１を介して通過した光の量を調節する光量調節部材である。シャッタ１０４は、後述のセンサ１０５に入射する光を遮蔽可能な遮蔽部材であって、入射した光を遮蔽せずにセンサ１０５に導く退避状態と、入射した光を遮蔽する遮蔽状態とに遷移できる。

センサ１０５は、ＣＣＤやＣＭＯＳ等の電荷蓄積型の固体撮像素子を採用した撮像手段であって、被写体の光束を光電変換してアナログ画像データ（アナログ画像信号）を生成する。Ａ／Ｄ変換部１０６は、センサ１０５から出力されたアナログ画像データに対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像データとして出力するＡ／Ｄ変換手段である。なお、Ａ／Ｄ変換部１０６は、センサ１０５から受信した信号からノイズを除去するＣＤＳ回路や、受信した信号をデジタル画像データに変換する前に非線形増幅するための非線形増幅回路を含んでいる。

画像処理部１０７は、Ａ／Ｄ変換部１０６から出力されたデジタル画像データに対してＷＢ調整処理、階調処理などの種々の処理を施し、処理済みのデジタル画像データを出力する画像処理手段である。なお、画像処理部１０７は、Ａ／Ｄ変換部１０６から受けたデジタル画像データをＹＵＶ画像信号に変換して出力する。

エンコーダー部１０８は、取得した画像データのフォーマットを変換する変換手段である。例えば、エンコーダー部１０８は、画像処理部１０７から受信した画像データを記録用のフォーマットに変換する。記録制御部１０９は、画像データの記録を制御する制御手段であって、予め設定された記録フォーマットに基づいてエンコーダー部１０８における画像データのフォーマットの変換を制御する。

メモリ１１０は、フラッシュメモリ等に代表されるＥＥＰＲＯＭなど、電気的に消去や記憶が可能な記憶手段であって、ＲＡＭ領域およびＲＯＭ領域を備えている。このメモリ１１０には、例えば、後述する演算式や輝度に対する適正露出に関する情報など、カメラ１００の動作に関わる種々のデータが予め記録されていると共に、カメラ１００が取得した種々のデータを記録することができる。

操作部１１１は、カメラ１００の各動作に関わる操作入力が可能な操作手段であって、ユーザが操作可能なスイッチ類やボタン類などによって構成されている。図２に図示するように、操作部１１１には、レリーズスイッチ１１１ａと操作ダイヤル１１１ｂが含まれている。なお、操作部１１１を構成する部材の一つとして、静電容量や圧力を検知することでユーザによるタッチ操作に応答した操作入力が可能な表示装置である所謂タッチパネルを含むような構成であってもよい。この場合、後述する表示部１１２がタッチパネルであって、表示部１１２が操作部１１１を兼ねるような構成であってもよい。

表示部１１２は、画像データの表示が可能なＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）などで構成された表示手段である。表示部１１２には、デジタル画像データがＤ／Ａ変換部（不図示）で変換された表示用のアナログ画像データや、焦点検出領域などの撮影補助および操作補助に用いる指標やマーク等を表示できる。

レンズ駆動部１１３は、後述するシステム制御部１１６の指示に応じて、撮像レンズ１０１を動作させるレンズ用の駆動手段である。駆動制御部１１４は、後述する露出制御部１１５の指示に応じて、ＮＤフィルタ１０２、絞り１０３、シャッタ１０４の駆動を制御する駆動制御手段である。

露出制御部１１５は、センサ１０５を用いて画像データを取得する際の露出制御を実行する露出制御手段であって、被写体を測光して取得された測光結果（輝度）に基づいて撮像時の露出を変更することができる。この露出としては、ＮＤフィルタ１０２の濃度（減光量）、絞り１０３の開度（絞り値）、センサ１０５の電荷蓄積時間に関わるシャッタースピード、アナログおよびデジタルゲイン量に関わる撮影感度などの各パラメータを含む。したがって、露出制御部１１５は、被写体の明るさに応じて上述した各パラメータを総合的に変更することで、被写体の明るさに応じた適正な露出（適正露出）となるような露出制御を実行する。

システム制御部１１６は、カメラ１００の動作を統括的に制御する制御手段であって、内部に制御用のＣＰＵを備えている。具体的に、システム制御部１１６は、レンズ駆動部１１３や露出制御部１１５などに対して、カメラ１００における露出制御やフォーカス制御の実行を指示する。

外部Ｉ／Ｆ部１１７は、カメラ１００の外部に設けられた外部機器（不図示）や外部メモリ（不図示）とカメラ１００との接続を制御する接続手段である。したがって、例えば、カメラ１００は、外部Ｉ／Ｆ部１１７を介して、取得した画像データ等を外部メモリに記録する、あるいは、外部メモリに記録されている画像データ等を読み出すことができる。以上が、本実施形態のカメラ１００の基本構成である。

（撮像動作）
以下、カメラ１００を用いた被写体の撮像動作について説明する。まず、システム制御部１１６は、カメラ１００の各部に電力が供給された状態でレリーズスイッチ１１１ａが操作されたことを検知し、被写体の撮像動作を開始する。この撮像動作としては、まず、センサ１０５の前面に設けられたシャッタ１０４が光路上から退避し、撮像レンズ１０１を介して入射した光束がセンサ１０５に結像する。次に、システム制御部１１６からの指示に応じて露出制御部１１５は、メモリ１１０に予め記録された輝度値算出用の露出となるようにカメラ１００の各部を動作させる。

次に、システム制御部１１６は、撮像を実行し、センサ１０５に蓄積した電荷を読み出しアナログ画像データを出力させる。当該アナログ画像データは、Ａ／Ｄ変換部１０６および画像処理部１０７を介してＹＵＶ画像信号に変換され、システム制御部１１６によって輝度（Ｂｖ）が算出される。以降の説明では、ＡＰＥＸ単位を用いて輝度を示し、ＡＰＥＸ単位における１段分の明るさが１Ｂｖに相当するものとする。

ここで、輝度の算出方法について説明する。露出制御部（輝度取得手段）１１５は、センサ１０５を用いて取得された画像データに基づいて、当該画像データに該当する被写体の輝度を取得する。具体的に、露出制御部１１５は、取得した画像データを複数のブロックに分割し、各ブロックの平均輝度を算出する。そして、システム制御部１１６は、各ブロックの平均輝度を積分して代表輝度を取得する。処理を施したこの代表輝度が取得した画像データに基づいて実際に測定された輝度であって、被写体を撮像する際の露出制御に用いられる。撮像モードが後述するタイムラプスモードに設定されている場合は、上述した輝度が実測輝度ＢｖＲｅａｌに該当する。

なお、代表輝度（実測輝度）の算出方法はこれに限定されるものではなく、例えば、各ブロックの平均輝度を加算平均することで算出してもよく、ブロックごとの平均輝度にブロックごとに重み付けを施し加重平均することで算出してもよい。代表輝度（実測輝度）の取得方法としては、少なくとも画像全体の明るさを鑑みて、取得した画像データを複数に分割したブロックごとの輝度に基づいて取得するような方法を採用すればよい。

また、本実施形態ではセンサ１０５を用いて取得した画像データに基づいて輝度を取得する構成について説明したが、センサ１０５以外に設けられた所謂測光センサ（不図示）などを用いて輝度Ｂｖを取得する構成であってもよい。

次に、露出制御部１１５は、取得した輝度に基づいて露出制御を実行する。具体的に、露出制御部１１５は、取得した輝度Ｂｖとメモリ１１０に予め記録された適正露出に対応した目標輝度との輝度差ΔＢｖ分だけ露出を変更することで、適正露出を設定する。

また、システム制御部１１６は、カメラ１００から被写体までの距離情報（被写体距離）を演算し、当該被写体距離に基づいて撮像レンズ１０１のフォーカスレンズのレンズ位置を合焦位置へと移動させる制御（ＡＦ制御）を実行する。なお、本実施形態では、撮像レンズ１０１のフォーカスレンズの位置をずらしながら取得した画像データのコントラスト情報に基づいてＡＦ制御を実行するが、これに限定されるものではない。例えば、ＡＦ制御用のセンサや、センサ１０５を構成する複数の画素に位相差検出用の画素を設け、所謂位相差検出方式で被写体距離を演算する構成であってもよい。以上がカメラ１００の撮像準備動作である。

カメラ１００の撮像準備動作が完了すると、システム制御部１１６は撮像を実行してアナログ画像データを取得する。当該アナログ画像データに対して前述した種々の処理が施されたことで取得されたデジタル画像データは、記録制御部１０９により、エンコーダー部１０８を介して記録用のフォーマットへと変換され、メモリ１１０に記録される。また、システム制御部１１６は、Ｄ／Ａ変換部（不図示）によってデジタル画像データから変換された表示用のアナログ画像データを表示部１１２に表示する。以上が、カメラ１００の基本的な撮像動作である。

なお、上述の説明では、ユーザによるレリーズスイッチ１１１ａの操作に応じて撮像準備から画像データの記録および表示までの一連の動作が連続的に行われる構成であったが、これに限定されるものではない。例えば、レリーズスイッチ１１１ａのＳＷ１状態（例えば、半押し）に応じて撮像準備動作が実行され、レリーズスイッチ１１１ａのＳＷ２状態（例えば、全押し）に応じて実際の撮像動作が実行されるような構成であってもよい。

（撮像モード）
以下、カメラ１００で設定可能な撮像モードについて説明する。本実施形態のカメラ１００は、撮像モードとして通常静止画モード、通常動画モード、タイムラプスモードを設定できる。通常静止画モードは記録用の１つの画像データ（静止画像）を取得する撮像モードである。通常動画モードは、センサ１０５を用いて取得された複数の画像データを順につなぎ合せて動画像を取得する撮像モードである。タイムラプスモードは、間欠的な撮像を実行することで取得した複数の画像データを順につなぎ合せた動画像（タイムラプス動画）を取得するために、間欠的な撮像を実行する撮像モードである。

なお、通常動画モードとタイムラプスモードとでは、所定時間内におけるセンサ１０５での電荷蓄積の回数（または蓄積した電荷のリセット回数）が異なる。本実施形態のカメラ１００では、通常動画モードよりもタイムラプスモードの方が、同一期間内におけるセンサ１０５での電荷蓄積の回数が少ない。この構成により、通常動画モードでは１つの動画像を取得するための総撮像時間と取得した動画像の再生時間とが略同一であるのに対して、タイムラプスモードでは、１つの動画像を取得するための総撮像時間に対して動画像の再生時間が短い。したがって、上述したタイムラプスモードにおいて取得される動画像（タイムラプス動画）においては、被写体の時間的な変化を圧縮して記録・再生することができる。

上述したタイムラプスモードでは、予め設定された１秒、３０秒、１分、１５分、３０分、１時間、３時間、５時間、１０時間、２４時間などの所定の撮像間隔の中からユーザが任意の撮像間隔（時間間隔）を設定できる。なお、任意の撮像間隔をユーザが自由に設定できる構成であってもよい。例えば、１秒よりも短い撮像間隔を設定できるような構成であってもよい。

また、上述したタイムラプスモードでは、間欠的な撮像を実行する総撮像時間または総撮像回数を設定可能であって、後述するタイムラプスモードの説明では、ユーザによって総撮像時間が設定されるものとする。なお、本実施形態のカメラ１００としては、総撮像時間または総撮像回数を設定せず、カメラ１００に設けられた電池（不図示）の電力が続く限り無制限に間欠的な撮像を実行することもできる。以上説明した各撮像モードは、ユーザが操作部１１１を操作することで自由に設定できる。

（タイムラプスモード）
以下、本実施形態におけるタイムラプスモードにおける撮像処理について図３を参照して説明する。図３は、本発明の実施形態に係るタイムラプスモードにおける撮像処理を説明するフローチャートである。なお、撮像間隔と総撮像時間については、ユーザにより事前に設定されているものとする。

図３に図示するように、ユーザにより撮像開始指示がされると、ステップＳ３０１でシステム制御部（輝度取得手段）１１６は、センサ１０５を用いて取得した画像データ（以下、単に画像と称する）を用いて実測輝度（第１の輝度）ＢｖＲｅａｌを取得する。

なお、実測輝度の取得に用いる画像は、間欠的な撮像に対応させて、タイムラプス動画の生成に用いる記録用の画像を取得する直前に、測光用の新たな画像を取得する構成であってもよいし、前回の撮像で取得した記録用の画像を採用する構成であってもよい。このうち、新たな測光用の画像を取得する場合は、連続する第１の撮像と第２の撮像の間であって、第２の撮像の前の２秒以内に取得する。なお、当該新たな測光用の画像としては、少なくとも、連続する第１の撮像と第２の撮像の間であって、第１の撮像と第２の撮像の撮像間隔の中間点よりも第２の撮像に近いタイミングで取得する構成であればよい。

なお、実測輝度を取得するための画像の選択方法は、間欠的な撮像の撮像間隔に基づいて変更する構成であってもよい。例えば、撮像間隔が比較的短い場合は、被写体の輝度が大きく変化する確率が相対的に低いため、前回の記録用の画像に基づいて実測輝度を取得する。これに対して、撮像間隔が長くなるにしたがって、撮像間に被写体の輝度が大きく変化する確率が相対的に高くなるため、記録用の画像を取得する直前に新たな測光用の画像を取得し、当該新たに取得された画像に基づいて実測輝度を取得する。

次に、ステップＳ３０２で露出制御部１１５は、Ｓ３０１で取得した実測輝度ＢｖＲｅａｌに基づきＡＦ制御用の露出を決定する。そして、システム制御部１１６は、カメラ１００の各部を制御して、当該ＡＦ制御用の露出を設定する。なお、上述した焦点検出用の露出は、メモリ１１０に予め記録されているプログラム線図を用いて、できるだけ被写体深度が浅く（絞り値が開放付近と）なるような値が設定される。そして、ステップＳ３０３でシステム制御部１１６は、ＡＦ制御用の露出で取得された画像に基づきＡＦ制御を実行する。

次に、ステップＳ３０４でシステム制御部（輝度設定手段）１１６は、輝度補正処理を実行し、ステップＳ３０１で算出した実測輝度ＢｖＲｅａｌを補正し、補正輝度（第２の輝度）ＢｖＣｏｒｒｅｃｔを設定（算出）する。ここで、実測輝度が、間欠的な撮像毎に被写体を測光した測光結果であるのに対して、補正輝度は、間欠的な撮像毎の露出制御に用いる輝度である。本実施形態では、この輝度補正処理を実行することで、間欠的な撮像を実行して取得した画像を用いて生成したタイムラプス動画に、不自然なちらつきが生じることを抑制することができる。輝度補正処理の詳細については後述する。

次に、ステップＳ３０５で露出制御部（露出制御手段）１１５は、設定した補正輝度ＢｖＣｏｒｒｅｃｔに基づいて、タイムラプス動画の生成に用いる記録用の画像（記録画像）を取得する際の撮像（本撮像）に用いる露出を設定する。次に、ステップＳ３０６でシステム制御部１１６は、センサ１０５を用いて撮像（本撮像）を実行し、記録画像を取得する。

なお、本撮像を実行するタイミングは、ユーザによって予め設定された撮像間隔に基づいてシステム制御部１１６が制御する。また、本撮像が完了したことに応じて、システム制御部１１６は、システム制御部１１６の内部に設けられたタイマー（不図示）による撮像間隔に関わる時間計測をリセットする。当該タイマーは所謂リアルタイムクロックであって、タイムラプスモードにおける撮像間隔および総撮像時間に関する正確な計測が可能である。

次に、ステップＳ３０７でシステム制御部１１６は、画像処理部１０７やエンコーダー部１０８を介して、取得された記録画像に対して現像処理や符号化処理などを適用し、画像データファイルを生成する。

次に、ステップＳ３０８でシステム制御部１１６は、予め設定された総撮像時間を読み出し、現在までの撮像時間の累計が総撮像時間に到達しているか否かを判定する。システム制御部１１６によって、現在までの撮像時間が総撮像時間に到達していない（ステップＳ３０８でＮＯ）と判定された場合は、ステップＳ３０１に戻る。そして、システム制御部１１６は、タイマーによる撮像間角に関する計測が次の撮像タイミングに到達したことに応じて、次の記録画像を取得するための処理を開始する。

また、システム制御部１１６によって、現在までの撮像時間が総撮像時間に到達している（ステップＳ３０８でＹＥＳ）と判定された場合は、ステップＳ３０９に進む。そして、ステップＳ３０９でシステム制御部１１６は、現在までに取得した記録画像を順につなぎ合せて動画像データを生成し、メモリ１１０に記録する。記録が完了すると一連の撮像処理を終了する。なお、取得した動画像データは、記録制御部１０９によって、外部Ｉ／Ｆ部１１７を介して外部装置や外部メモリに記録される構成であってもよい。以上が、本実施形態のカメラ１００に係るタイムラプスモードにおける撮像処理である。

（輝度補正処理）
以下、本実施形態に係るカメラ１００のタイムラプスモードにおける輝度補正処理の詳細について図４を参照して説明する。図４は、本発明の実施形態に係る輝度補正処理を説明するフローチャートである。なお、図中に示す記号ｔは、タイムラプスモードにおいてｔ回目の輝度補正処理であることを示している（ｔの初期値＝１）。したがって、例えば、ＢｖＲｅａｌ（ｔ）は、間欠的な撮像におけるｔ回目の本撮像に対応した実測輝度を示す。

図４に図示するように、輝度補正処理が開始されると、ステップＳ４０１〜Ｓ４０２でシステム制御部１１６は、ｔ回目の撮像に対応させて取得した実測輝度が、ｔ−１回目の本撮像に用いた補正輝度を基準とした所定の範囲に含まれるか否かを判定する。例えば、連続する第１の撮像と第２の撮像を想定すると、システム制御部１１６は、第２の撮像に対応させて取得した実測輝度が、前回の撮像である第１の撮像に関する補正輝度を基準とした所定の範囲に含まれるか否かを判定する。

当該所定の範囲は、予め定められた輝度に関する範囲であって、メモリ１１０に予め記録された情報に基づいてシステム制御部１１６が設定する。以降の説明では、所定の範囲を、ｔ−１回目の本撮像に用いた補正輝度ＢｖＣｏｒｒｅｃｔ（ｔ−１）を基準とした範囲である±ＢｖＲａｎｇｅとして説明する。なお、本実施形態では、所定の範囲を、ＢｖＣｏｒｒｅｃｔ（ｔ−１）を中心とした±ＢｖＲａｎｇｅの範囲とするが、所定の範囲としては少なくともＢｖＣｏｒｒｅｃｔ（ｔ−１）を含む範囲であればよい。

上述したステップＳ４０１〜Ｓ４０２の処理について具体的に説明する。ステップＳ４０１でシステム制御部１１６は、ｔ回目の撮像で取得した実測輝度ＢｖＲｅａｌ（ｔ）が式（１）に示すように、
ＢｖＲｅａｌ（ｔ）≧（ＢｖＣｏｒｒｅｃｔ（ｔ−１）−ＢｖＲａｎｇｅ）・・・（１）
を満たすか否かを判定する。

また、ステップＳ４０２でシステム制御部１１６は、実測輝度ＢｖＲｅａｌ（ｔ）が式（２）に示すように、
ＢｖＲｅａｌ（ｔ）≦（ＢｖＣｏｒｒｅｃｔ（ｔ−１）＋ＢｖＲａｎｇｅ）・・・（２）
を満たすか否かを判定する。なお、上述した式（１）、（２）では、ＢｖＲａｎｇｅをＡＰＥＸ単位の０．１５Ｂｖとする。すなわち、所定の範囲は０．３０Ｂｖの範囲となる。

この式（１）、式（２）に示す条件が満たされる（ステップＳ４０１およびＳ４０２でＹＥＳと判定された）場合が、ｔ−１回目の本撮像に用いた補正輝度を基準とする所定の範囲に、ｔ回目の撮像に対応させて取得した実測輝度が含まれる場合である。換言すると、式（１）、式（２）の少なくとも一方の条件が満たされない場合は、ｔ回目に取得した実測輝度が、ｔ−１回目の本撮像に用いた補正輝度を基準とする所定の範囲に含まれない場合である。

ｔ回目に取得した実測輝度が所定の範囲に含まれると判定した場合、ステップＳ４０３でシステム制御部１１６は、ＢｖＣｏｒｒｅｃｔ（ｔ−１）をクリップ輝度（第３の輝度）ＢｖＣｌｉｐ（ｔ）として設定する。また、ｔ回目の実測輝度が所定の範囲に含まれていないと判定した場合、ステップＳ４０４でシステム制御部１１６は、ＢｖＲｅａｌ（ｔ）をクリップ輝度（第３の輝度）ＢｖＣｌｉｐ（ｔ）として設定する。本実施形態では、上述したステップＳ４０３およびＳ４０４の処理をクリップ処理（第１の処理）と称する。そして当該クリップ処理で設定したクリップ輝度は、後述する巡回型フィルタ処理（第２の処理）に適用される。

次に、ステップＳ４０５でシステム制御部１１６は、ｔ回目の撮像で取得したクリップ輝度と、ｔ−１回目の本撮像に用いた補正輝度を所定の比率で混ぜ合わせて、ｔ回目の本撮像に用いる補正輝度ＢｖＣｏｒｒｅｃｔ（ｔ）を取得（演算）する。

上述したステップＳ４０５の処理について具体的に説明する。ステップＳ４０５でシステム制御部１１６は、ＢｖＣｌｉｐ（ｔ）と、ＢｖＣｏｒｒｅｃｔ（ｔ−１）にそれぞれｋ、（１−ｋ）の係数を乗算し、それらを加算した値をｔ回目の本撮像に用いるＢｖＣｏｒｒｅｃｔ（ｔ）とする（０≦ｋ≦１）。式（３）を用いてこの処理を表すと、
ＢｖＣｏｒｒｅｃｔ（ｔ）＝（ｋ×ＢｖＣｌｉｐ（ｔ）＋（１−ｋ）×ＢｖＣｏｒｒｅｃｔ（ｔ−１））・・・（３）
となる。本実施形態では、上述したステップＳ４０５の演算処理を巡回型フィルタ処理（第２の処理）と称する。なお、本実施形態では上述した係数ｋを０．２とする。

巡回型フィルタ処理が実行され、ｔ回目の本撮像に用いる補正輝度（第２の輝度）ＢｖＣｏｒｒｅｃｔ（ｔ）が設定されたことに応じて、現在の撮像に係る（ｔ回目の）輝度補正処理を終了する。なお、例外的な処理としてシステム制御部１１６は、タイムラプスモードにおける間欠的な撮像のうちの初回（ｔ＝１）の撮像において、ＢｖＣｏｒｒｅｃｔ（ｔ）をＢｖＲｅａｌ（ｔ）に設定する。以上が、本実施形態の輝度補正処理である。

上述した輝度補正処理を適用した場合の輝度変動について図５、図６を参照して説明する。図５は、本発明の実施形態に係る輝度補正処理を適用した場合の輝度変動を例示的に説明した図である。前述したように、図６に図示するような実測輝度ＢｖＲｅａｌの小変動に応じて、間欠的な撮像毎に露出を変更すると、取得した画像間で、画像内に存在する各被写体の明るさが細かく変化してしまう。この場合、各被写体の明るさが不自然に変化することで、取得した画像同士をつなぎ合せたタイムラプス動画に不自然なちらつきが生じてしまうため、タイムラプス動画を鑑賞するユーザに違和感を与えてしまう。

これに対して上述した輝度補正処理を実行した場合、クリップ輝度ＢｖＣｌｉｐ（ｔ）の値が、補正輝度ＢｖＣｏｒｒｅｃｔ（ｔ−１）と同一となれば、補正輝度ＢｖＣｏｒｒｅｃｔ（ｔ）の値が補正輝度ＢｖＣｏｒｒｅｃｔ（ｔ−１）と等しくなる。また、クリップ輝度ＢｖＣｌｉｐ（ｔ）の値が、補正輝度ＢｖＣｏｒｒｅｃｔ（ｔ−１）と異なれば、実測輝度ＢｖＲｅａｌ（ｔ）の変動に応じて補正輝度ＢｖＣｏｒｒｅｃｔ（ｔ）の値が変化する。

すなわち、ｔ回目の輝度補正処理で設定したクリップ輝度がｔ−１回目の本撮像に用いた補正輝度と同一である場合は、巡回型フィルタ処理により、ｔ回目とｔ−１回目の本撮像に用いる輝度が等しくなる。また、ｔ回目の輝度補正処理で設定したクリップ輝度がｔ−１回目の本撮像に用いた補正輝度と異なる場合は、巡回型フィルタ処理により、ｔ回目とｔ−１回目の本撮像に用いる輝度同士がそれぞれ異なる値となる。また、この場合は、ｔ−１回目の本撮像に用いた輝度とｔ回目に取得された実測輝度の双方に基づきｔ回目の本撮像に用いる輝度が設定されるため、ｔ−１回目とｔ回目の本撮像間での露出の変更度合を所定量以下に抑えることができる。

この構成によって取得した補正輝度ＢｖＣｏｒｒｅｃｔの推移を例示的に説明したのが図５であって、図中の点線で示す実測輝度ＢｖＲｅａｌが細かく変動した場合であっても、実線で示す補正輝度ＢｖＣｏｒｒｅｃｔの変動は極力抑制される。すなわち、ＢｖＲｅａｌの変動が小さい場合はＢｖＣｏｒｒｅｃｔの値が一定となり、ＢｖＲｅａｌの変動が大きい場合は、被写体の輝度変化に応じて、ＢｖＣｏｒｒｅｃｔの値を緩やかに変更する（推移させる）ことができる。

また、本実施形態のカメラ１００は、実測輝度（第１の輝度）ＢｖＲｅａｌ（ｔ）に基づいてクリップ処理（第１の処理）を実行することでクリック輝度ＢｖＣｌｉｐ（ｔ）（第３の輝度）を設定する。そして、当該クリップ輝度ＢｖＣｌｉｐ（ｔ）と前回の撮像に用いた補正輝度（第の２輝度）ＢｖＣｏｒｒｅｃｔ（ｔ−１）とに基づいて巡回型フィルタ処理（第２の処理）を実行する構成である。すなわち、クリップ処理後に巡回型フィルタ処理が実行される構成である。

この構成により、実測輝度が所定の範囲である±ＢｖＲａｎｇｅに含まれる場合は、補正輝度の明るさは常に一定となる。換言すると、実測輝度が所定の範囲である±ＢｖＲａｎｇｅに含まれる場合は、輝度レンジにおける所定の範囲の位置を常に一定の位置に保つことができる。したがって、例えば、タイムラプスモードにおいて連続した複数回の撮像を実行する場合であっても、各撮像に対応した測光結果（実測輝度）の差が±ＢｖＲａｎｇｅに含まれるうちは、常に一定の露出を維持することができる。

また、実測輝度が所定の範囲に含まれない場合であっても、当該実測輝度と前回撮像時の補正輝度とを用いた演算の結果に基づいて、次の撮像に用いる補正輝度を設定できる。したがって、間欠的な撮像間における被写体の明るさ変化が滑らかとなるように、露出を変更することができる。

以上説明したように、本実施形態のカメラ１００は、タイムラプスモードにおいて、小さな輝度変動の影響を除きつつ、時間経過に伴う環境光の変化（大きな輝度変動）に対しては緩やかに露出を変更することができる。したがって、本実施形態のカメラ１００は、被写体の明るさの変化が大きい場合および小さい場合の両方において、間欠的な撮像により取得された画像をつなぎ合せた動画像にちらつきが生じるのを抑制することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらに限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、前述した実施形態では、タイムラプスモードにおいてカメラ１００の内部でタイムラプス動画を生成する構成であったが、これに限定されるものではない。すなわち、カメラ１００ではタイムラプス動画の生成に用いる画像（記録画像）を取得するための間欠的な撮像（インターバル撮影）を行い、外部機器やコンピュータネットワーク上においてタイムラプス動画を生成するような構成であってもよい。

また、前述した実施形態では、輝度補正処理におけるＢｖＲａｎｇｅを０．１５Ｂｖとしたが、これに限定されるものではない。例えば、比較的大きな輝度変動に対しても一定の露出を設定したい場合は、ＢｖＲａｎｇｅをより大きな値に設定する構成であってもよい。これに対して、比較的小さな輝度変動が生じた場合だけ一定の露出を設定したい場合は、ＢｖＲａｎｇｅをより小さな値に設定する構成であってもよい。すなわち、所定の範囲を変更できる構成であってもよい。

上述した所定の範囲は、撮像シーンに応じて設定する構成であってもよい。例えば、日没シーンや日の出シーンなど、輝度の変化が多い（輝度が段階的に変化していく）シーンでは所定の範囲を比較的狭くする。これに対して、星空シーンや夜景シーンなど、輝度の変化が少ないシーンでは所定の範囲を比較的広くするのが望ましい。この場合、少なくとも、第１の範囲よりも第２の範囲の方が、ＢｖＲａｎｇｅの値を大きく（所定の範囲を広く）設定する。

なお、撮像シーンの判定は、シーン判定手段であるシステム制御部１１６が、取得した画像に基づく輝度（実測輝度）や色、被写体の検知結果などに基づいて実行される構成であればよい。すなわち、システム制御部１１６は、撮像シーンの判定結果に基づいて前記所定の範囲を設定する構成であればよい。

なお、被写体の検知としては、画像に占める被写体の面積や位置、カメラ１００からの被写体までの距離情報などに基づいてシステム制御部１１６が実行する構成であればよい。例えば、システム制御部１１６は、画像内に占める面積が大きい被写体や画像内の略中央に位置する被写体、カメラ１００からの距離が近い被写体を主被写体として検知する。そして、システム制御部１１６は、検知した主被写体と輝度および（または）色情報に基づいて撮影シーンを判定する。

また、前述した実施形態では、輝度補正処理におけるＢｖＲａｎｇｅを０．１５Ｂｖとし、係数ｋをｋ＝０．２（ただし、０≦ｋ≦１）としたが、これに限定されるものではない。例えば、間欠的な撮像間において、被写体の輝度変化に対する露出の追従を緩やかにしたい場合は、係数ｋを比較的小さな値に設定し、露出の追従を急峻にしたい場合は、係数ｋを比較的大きな値に設定すればよい。

具体的に、間欠的な撮像の撮像間隔が比較的短い場合は、連続する撮像間において環境光が大きく変化する確率は低いため、係数ｋを大きくしたとしても取得した画像間で不自然に明るさが変化する確率は低い。この場合、巡回型フィルタ処理において現在の輝度に対する重み付けの度合いを過去の輝度に対する重み付けの度合いよりも大きくする方が、被写体の輝度変化に対してより適正な補正輝度を設定することができる。これに対して、間欠的な撮像の撮像間隔が比較的長い場合は、連続する撮像間において環境光が大きく変化する確率が高いため、係数ｋが大きいと、取得した画像間で不自然に明るさが変化する確率が高い。この場合、巡回型フィルタ処理において、現在の輝度に対する重み付けの度合いを過去の輝度に対する重み付けの度合いよりも小さくする方が、被写体の輝度変化に対して、より適正な補正輝度を設定することができる。

そこで、間欠的な撮像の撮像間隔に応じて、巡回型フィルタ処理の係数ｋの値を変更する構成であってもよい。具体的に、システム制御部１１６は、撮像間隔が長い第１の撮像間隔よりも撮像間隔が短い第２の撮像間隔の方が、係数ｋを大きな値に設定する。すなわち、第１の撮像間隔よりも第２の撮像間隔の方が、実測輝度に対する重み付け度合いを大きくする。以上説明した構成を採用した撮像装置であれば、撮影シーンや撮像間隔に応じて、更に効果的な露出制御を実行することができる。

また、前述した実施形態では、式（１）および式（２）の条件を満たす（ステップＳ４０１〜Ｓ４０２の判定が共にＹＥＳである）場合に、式（３）を用いて、補正輝度ＢｖＣｏｒｒｅｃｔ（ｔ）を算出する構成であったが、これに限定されるものではない。例えば、実測輝度ＢｖＲｅａｌ（ｔ）が±ＢｖＲａｎｇｅに含まれる場合、システム制御部１１６は、ＢｖＣｏｒｒｅｃｔ（ｔ−１）と略同一の明るさとなる輝度を、ＢｖＣｏｒｒｅｃｔ（ｔ）として設定する構成であってもよい。この場合、ＢｖＣｏｒｒｅｃｔ（ｔ−１）とＢｖＣｏｒｒｅｃｔ（ｔ）との輝度差が、ＡＰＥＸ単位における０．１Ｂｖ以下であれば、双方の輝度が略同一の値であるものとする。

また、前述した実施形態では、式（１）および式（２）の条件を満たす（ステップＳ４０１〜Ｓ４０２の判定が共にＹＥＳとなる）場合であっても、クリップ輝度および補正輝度を算出する構成であったが、これに限定されるものではない。例えば、実測輝度ＢｖＲｅａｌ（ｔ）が±ＢｖＲａｎｇｅに含まれる場合は、前回（ｔ−１回目）の本撮像時から露出を変更しない（維持する）構成であってもよい。すなわち、式（１）および式（２）の条件を満たす（ステップＳ４０１〜Ｓ４０２の判定が共にＹＥＳである）場合は、ステップＳ４０３およびステップＳ４０５の処理を省略するような構成であってもよい。

また、上述した実施形態では、輝度補正処理における所定の範囲が輝度に関する範囲である場合について説明したが、これに限定されるものではない。例えば、輝度補正処理における所定の範囲を、ｔ−１回目の本撮像に用いた露出を基準とした範囲として設定し、当該所定の範囲に、被写体を測光して取得した輝度に対応する露出が含まれるか否かを判定する構成であってもよい。

また、前述した実施形態では、記録制御部１０９、メモリ１１０、駆動制御部１１４、露出制御部１１５、システム制御部１１６などが互いに連携して動作することで、カメラ１００の動作を制御する構成であったが、これに限定されるものではない。例えば、前述した図３、図４に図示したフローに従ったコンピュータプログラムを予めメモリ１１０に格納しておき、該コンピュータプログラムをシステム制御部１１６などが実行することで、カメラ１００の動作を制御する構成であってもよい。

また、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。また、プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記録媒体でもあってもよい。

また、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラを採用した場合について説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスなどや、セキュリティカメラなど、デジタルカメラ以外の撮像装置を採用する構成であってもよい。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００ デジタルカメラ
１０５ センサ
１１０ メモリ
１１５ 露出制御部
１１６ システム制御部

Claims (14)

1. 撮像手段を備え、間欠的な撮像を実行することで取得した画像をつなぎ合せた動画像を取得するために、前記撮像手段を用いて間欠的な撮像を実行するモードを設定できる撮像装置であって、
   被写体を測光して第１の輝度を取得する輝度取得手段と、
   撮像時の露出制御を実行する露出制御手段と、
   前記露出制御手段が撮像時の露出制御に用いる第２の輝度を設定する輝度設定手段と、
   を有し、
   前記輝度設定手段は、前記モードにおいて、第１の撮像の次の第２の撮像に対応させて取得した第１の輝度が前記第１の撮像に用いた第２の輝度を基準とした所定の範囲に含まれる場合に、前記第２の撮像に用いる第２の輝度を前記第１の撮像に用いた第２の輝度と略同一の値に設定し、前記第２の撮像に対応させて取得した第１の輝度が前記所定の範囲に含まれない場合に、前記第２の撮像に対応させて取得した第１の輝度と前記第１の撮像に用いた第２の輝度とを用いた演算の結果に基づいて、前記第２の撮像に用いる第２の輝度を設定することを特徴とする撮像装置。
2. 前記輝度設定手段は、前記モードにおいて、前記輝度取得手段が前記第２の撮像に対応させて取得した前記第１の輝度に基づく第１の処理を実行して設定された第３の輝度と、前記第１の撮像に用いた第２の輝度とを所定の比率で混ぜ合わせることで、前記第２の撮像に用いる第２の輝度を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の処理は、前記第２の撮像に対応させて取得した第１の輝度が前記第１の撮像に用いた第２の輝度を基準とした所定の範囲に含まれる場合に、前記第１の撮像に用いた第２の輝度を前記第３の輝度として設定し、前記第２の撮像に対応させて取得した第１の輝度が前記第１の撮像に用いた第２の輝度を基準とした所定の範囲に含まれない場合に、前記第２の撮像に対応させて取得した第１の輝度を前記第３の輝度として設定する処理であることを特徴とする請求項２に記載の撮像装置。
4. 前記輝度設定手段は、前記モードにおいて、間欠的な撮像の撮像間隔に応じて前記所定の比率を変更することを特徴とする請求項２又は３に記載の撮像装置。
5. 前記所定の比率は、間欠的な撮像の撮像間隔が第１の撮像間隔である場合よりも、間欠的な撮像の撮像間隔が前記第１の撮像間隔よりも短い第２の撮像間隔である場合の方が、前記第１の輝度に対する重み付け度合いが大きいことを特徴とする請求項４に記載の撮像装置。
6. 撮像時のシーンを判定するシーン判定手段を有し、
   前記輝度設定手段は、前記モードにおいて、前記シーン判定手段の判定結果に基づいて前記所定の範囲を設定することを特徴とする請求項１乃至５の何れか一項に記載の撮像装置。
7. 前記所定の範囲は、前記モードにおいて、前記シーン判定手段によって間欠的な撮像間における輝度の変化が多いシーンと判定された場合よりも、前記シーン判定手段によって間欠的な撮像間における輝度の変化が少ないシーンと判定された場合の方が広いことを特徴とする請求項６に記載の撮像装置。
8. 前記シーン判定手段は、取得した画像に基づく輝度、色、被写体の検知結果、前記撮像装置から被写体までの距離情報のうちの、少なくとも１つに基づいて撮像時のシーンを判定することを特徴とする請求項６又は７に記載の撮像装置。
9. 前記露出制御手段は、前記タイムラプスモードにおける間欠的な撮像のうち、初回の撮像時は、前記輝度取得手段が取得した第１の輝度に基づいて撮像時の露出制御を実行することを特徴とする請求項１乃至８の何れか一項に記載の撮像装置。
10. 前記輝度取得手段は、前記モードにおいて、前記第１の撮像と前記第２の撮像との間であって、前記第１の撮像と前記第２の撮像の撮像間隔の中間点よりも前記第２の撮像に近いタイミングで、前記第２の撮像に対応させて第１の輝度を取得することを特徴とする請求項１乃至９の何れか一項に記載の撮像装置。
11. 前記露出制御手段は、前記タイムラプスモードにおいて、間欠的な撮像ごとに露出制御を実行することを特徴とする請求項１乃至１０の何れか一項に記載の撮像装置。
12. 前記輝度取得手段は、取得した画像を複数に分割したブロックごとの輝度に基づいて第１の輝度を取得することを特徴とする請求項１乃至１１の何れか一項に記載の撮像装置。
13. 撮像手段を備え、間欠的な撮像を実行することで取得した画像をつなぎ合せた動画像を取得するために、前記撮像手段を用いた間欠的な撮像を実行する際の撮像装置の制御方法であって、
    被写体を測光して第１の輝度を取得する輝度取得工程と、
    撮像時の露出制御を実行する露出制御工程と、
    前記露出制御工程において撮像時の露出制御に用いられる第２の輝度を設定する輝度設定工程と、
    を有し、
    前記輝度設定工程では、第１の撮像の次の第２の撮像に対応させて取得された第１の輝度が第１の撮像に用いた第２の輝度を基準とした所定の範囲に含まれる場合に、前記第１の撮像の次の第２の撮像に用いる第２の輝度を前記第１の撮像に用いた第２の輝度と略同一の値に設定し、前記第２の撮像に対応させて取得された第１の輝度が前記所定の範囲に含まれない場合に、前記第２の撮像に対応させて取得された第１の輝度と前記第１の撮像に用いた第２の輝度とを用いた演算の結果に基づいて、前記第２の撮像に用いる第２の輝度を設定することを特徴とする撮像装置の制御方法。
14. 請求項１３に記載の撮像装置の制御方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。

Images