JP4357471B2 - 画像取得装置及びプログラム - Google Patents

Description

本発明は、被写体画像を取得し、該被写体画像を用いて多重露光撮影を行う画像取得装置及びプログラムに関する。

従来、デジタルスチルカメラである画像取得装置では、撮影時の手振れを防止するために、シャッター速度を速くする、すなわち撮像手段の露光時間を短くすることが知られている。具体的には、撮影時の手振れを防止するために、露光時間は、レンズの焦点距離ｆをｆｍｍとする場合、１／ｆ秒以下であることが好ましい。

また、かかる画像取得装置では、適正な露光状態で被写体を撮影するために、図９（ａ）に示すように、被写体の輝度が高い場合、絞りを閉じ、かつ露光時間を短くするように制御し、被写体の輝度が低い場合、絞りを開放し、かつ露光時間を長くするように制御する。かかる場合、適正な露光状態で被写体を撮影するように制御された露光時間（以下、最適露光時間Ｔｃ）が、１／ｆ秒以上となる場合がある。

そこで、撮影時の手振れを防止するために、三脚を用いてカメラを固定するとか、ストロボを用いて被写体の輝度を高めるというような方策を採ることが多い。

しかしながら、画像取得装置のユーザは常に三脚を有しているとは限らない。また、ストロボを多用する場合、電池が消耗し易く、遠景の撮影には、ストロボの効果がなかった。

かかる問題を解決するために、多重露光撮影を行うことによって、手振れを防止する画像取得装置が知られている（例えば、特許文献１参照）。

多重露光撮影とは、最適露光時間Ｔｃよりも短い露光時間で撮影した被写体画像を複数取得し、当該複数の被写体画像を合成することによって、被写体の合成画像を取得することである。

かかる多重露光撮影では、図９（ｂ）に示すように、１枚の被写体画像を取得するために必要な１枚の露光時間が短いため、撮影時の手振れを防止することができる。また、かかる多重露光撮影では、１枚の露光時間が短いため、１枚の被写体画像の明るさは低下するが、複数の被写体画像を合成することによって、手振れの影響が少なく明るい合成画像を取得することができる。

かかる画像取得装置の動作の一例について、図１０を参照して説明する。

図１０に示すように、ステップＳ４０１において、画像取得装置は、絞りに対応する絞り値と、被写体の輝度とに基づいて、最適露光時間Ｔｃを算出する。

ステップＳ４０２において、画像取得装置は、レンズの焦点距離ｆをｆｍｍとする場合、１／ｆ秒を基準値として、１枚撮影を行うか、又は多重露光撮影を行うかを決定する。

具体的には、最適露光時間Ｔｃが１／ｆ秒未満である場合、画像取得装置は１枚撮影を行うことを決定し、本動作はステップＳ４０３に進む。最適露光時間Ｔｃが１／ｆ秒以上である場合、画像取得装置は多重露光撮影を行うことを決定し、本動作はステップＳ４０４に進む。

例えば、図１１に示すように、レンズの焦点距離ｆが３５ｍｍ換算で３０ｍｍである場合、基準値は、１／３０秒である。したがって、最適露光時間Ｔｃが１／３０秒未満である場合、１枚撮影を行うことを決定する。最適露光時間Ｔｃが１／３０秒以上である場合、多重露光撮影を行うことを決定する。

ステップＳ４０３において、画像取得装置は、１枚撮影を行う。

ここで、１枚撮影とは、最適露光時間Ｔｃで撮影した1枚の被写体画像を取得することである。

ステップＳ４０４において、画像取得装置は、多重露光撮影において、１枚の被写体画像を取得するために必要な１枚の露光時間Ｔ１を算出する。具体的には、１枚の露光時間Ｔ１は、最適露光時間Ｔｃの１／８以上、かつ最適露光時間Ｔｃ以下であることが好ましい。

ステップＳ４０５において、画像取得装置は、多重露光撮影において合成画像を取得するために必要な複数の被写体画像の合成枚数ｎを算出する。具体的には、合成枚数ｎは、「合成枚数ｎ＝最適露光時間Ｔｃ／１枚の露光時間Ｔ１」を用いて算出される。

ステップＳ４０６において、画像取得装置は、多重露光撮影において複数の被写体画像を取得するために必要な全体撮影時間撮像Ｔｏを算出する。具体的には、全体撮影時間Ｔｏは、「全体撮影時間Ｔｏ＝１枚の露光時間Ｔ１×合成枚数ｎ」を用いて算出され、最適露光時間Ｔｃと等しい。

ステップＳ４０７において、画像取得装置は、ステップＳ４０４〜ステップＳ４０６において算出した１枚の露光時間Ｔ１と合成枚数ｎと全体撮影時間Ｔｏに従って、多重露光撮影を行う。
特開２０００−６９３５２号公報

従来の画像取得装置では、レンズの焦点距離ｆをｆｍｍとする場合、１／ｆ秒を基準値として、１枚撮影を行うか、又は多重露光撮影を行うかを決定するため、焦点距離ｆが等しい場合、基準値は一義的に算出される。

したがって、最適露光時間Ｔｃが１／ｆ秒未満の場合、従来の画像取得装置のユーザが当該最適露光時間Ｔｃにおいて手振れする確率が高い場合であっても、従来の画像取得装置は、多重露光撮影を行うことができないため、手振れを防止することができないという問題点があった。

また、従来の画像取得装置では、多重露光撮影において、フレーム周期を考慮していないため、１枚の撮影時間Ｔ１がフレーム周期より短い場合、全体撮影時間Ｔｏが長くなり、手振れを防止することができないという問題点があった。

そこで、本発明は、以上の点に鑑みてなされたもので、手振れの発生履歴に応じて臨機応変に１枚撮影を多重露光撮影に切り替えることによって手振れを防止することを可能とする画像取得装置及びプログラムを提供することを目的とする。また、本発明は、フレーム周期を考慮することによって、多重露光撮影時の手振れを防止し、合成画像の画質を向上させることを可能とする画像取得装置及びプログラムを提供することを目的とする。

本発明の第１の特徴は、レンズと絞りとを介して露光された撮像手段を用いて被写体画像を取得し、該被写体画像を用いて多重露光撮影を行う画像取得装置であって、前記絞りに対応する絞り値と、前記被写体の輝度とに基づいて、前記撮像手段の露光時間を算出する露光時間算出部と、前記レンズの焦点距離と、所定係数とに基づいて、所定時間を算出する所定時間算出部と、前記露光時間が、前記所定時間以上である場合、複数の被写体画像を取得し、該複数の被写体画像を合成することによって、前記被写体の合成画像を取得する前記多重露光撮影を行うことを決定する撮影方法決定部と、前記多重露光撮影において、前記複数の被写体画像間の動きを検出する動き検出部と、検出された動き量に基づいて、所定係数を更新する所定係数算出部と具備することを要旨とする。

かかる特徴によれば、多重露光撮影の度に、複数の被写体画像間の動き（手振れ）に基づいて、１枚撮影を多重露光撮影に切り替える基準値（所定時間）を変更可能であるため、手振れの発生に応じて、臨機応変に１枚撮影を多重露光撮影に切り替えることができる。

本発明の第１の特徴において、前記多重露光撮影において、前記露光時間と、前記所定時間とに基づいて、１枚の被写体画像を取得するために必要な１枚の露光時間と、前記合成画像を取得するために必要な前記複数の被写体画像の合成枚数と、前記複数の被写体画像を取得するために必要な全体撮影時間とを算出する多重露光撮影制御部を具備するように構成されていてもよい。

本発明の第１の特徴において、前記多重露光撮影制御部は、前記動きの補正効果を示す評価値によって、前記合成枚数の上限値を算出し、該上限値に基づいて前記合成枚数を算出するように構成されていてもよい。

かかる特徴によれば、合成枚数の上限値を算出することによって、合成枚数を制限することができるため、合成枚数の増加による合成画像の画質の低下を防ぐことができる。

本発明の第１の特徴において、前記多重露光撮影制御部は、前記１枚の露光時間が、フレーム周期より短い場合、前記フレーム周期に基づいて、前記全体撮影時間を算出するように構成されていてもよい。

本発明の第１の特徴において、前記多重露光撮影制御部は、前記１枚の露光時間が前記フレーム周期より短く、前記フレーム周期に基づいて算出した前記全体撮影時間が前記露光時間よりも長い場合、前記１枚の露光時間を長くし、該１枚の露光時間に基づいて、前記合成枚数と、前記全体撮影時間とを算出する構成されていてもよい。

かかる特徴によれば、多重露光撮影において、１枚の露光時間がフレーム周期より短い場合であっても、１枚の露光時間が長すぎずかつ全体撮影時間を抑制するように算出されることによって、長い１枚の露光時間による手振れを防ぐことができる。

本発明の第１の特徴において、前記多重露光撮影制御部は、前記１枚の露光時間が前記フレーム周期より短く、前記フレーム周期に基づいて算出した前記全体撮影時間が前記露光時間よりも長い場合、前記露光時間を前記全体撮影時間とし、該全体撮影時間に基づいて、前記１枚の露光時間と、前記合成枚数とを算出するように構成されていてもよい。

かかる特徴によれば、多重露光撮影において、１枚の露光時間がフレーム周期より短い場合であっても、全体撮影時間を抑制することができるため、長い全体撮影時間による手振れを防ぐことができる。

本発明の第２の特徴において、コンピュータにレンズと絞りとを介して露光された撮像手段を用いて被写体画像を取得し、該被写体画像を用いて多重露光撮影を行う画像取得方法を実行させるためのプログラムであって、前記絞りに対応する絞り値と、前記被写体の輝度とに基づいて、前記撮像手段の露光時間を算出する手順と、前記レンズの焦点距離と、所定係数とに基づいて、所定時間を算出する手順と、前記露光時間が、前記所定時間以上である場合、複数の被写体画像を取得し、該複数の被写体画像を合成することによって、前記被写体の合成画像を取得する前記多重露光撮影を行うことを決定する手順と、前記多重露光撮影において、前記複数の被写体画像間の動きを検出する手順と、検出された動き量に基づいて、所定係数を更新する手順とを有することを要旨とする。

以上説明したように、本発明によれば、手振れの発生履歴に応じて臨機応変に１枚撮影を多重露光撮影に切り替えることによって手振れを防止することを可能とする画像取得装置及びプログラムを提供することができる。また、本発明によれば、フレーム周期を考慮することによって、多重露光撮影時の手振れを防止し、合成画像の画質を向上させることを可能とする画像取得装置及びプログラムを提供することができる。

（本実施形態に係る画像取得装置の構成）
図１乃至図３を参照して、本実施形態に係る画像取得装置の構成について説明する。

図１に示すように、画像取得装置１００は、レンズ１１０と、絞り１２０と、撮像手段１３０と、撮像制御部１４０と、画像処理部１５０、動き検出・合成部１６０とを具備し、多重露光撮影及び１枚撮影を行うように構成されている。

ここで、被写体画像とは、光電変換画像又は撮影画像のいずれであってもよい。

光電変換画像とは、レンズ１１０と絞り１２０とを介して露光された撮像手段１３０が、光電変換を行い、電荷を蓄積し、蓄積した電荷を読み出すことによって、生成されるものである。

また、撮影画像とは、光電変換画像に所定の処理を施すことによって取得されるものである。所定の処理とは、例えば、デモザイク処理や色変換や階調変換処理やＪＰＥＧ圧縮処理等である。

例えば、画像取得装置１００は、デジタルスチルカメラや、静止画を撮影するデジタルビデオカメラによって構成されていてもよい。

レンズ１１０は、被写体からの光を撮像手段１３０に露光するように構成されている。

絞り１２０は、撮像手段１３０における露光量を調整するように構成されている。絞り１２０の開閉の度合いは、絞り値によって示される。

撮像手段１３０は、ＣＣＤやＣＭＯＳ等の撮像素子を具備し、レンズ１１０と絞り１２０とを介して露光され、光電変換を行い、電荷を蓄積し、蓄積した電荷を読み出すことによって、光電変換画像を生成するように構成されている。

フレーム周期（フレーム周期Ｔｆ）とは、撮像手段１３０が、蓄積した電荷の読み出しを開始してから当該光電変換画像を生成完了するまでの最短期間である。

撮像制御部１４０は、最適露光時間算出部１４１と、手振れ限界値記憶部１４２と、撮影方法決定部１４３と、多重露光撮影制御部１４４と、手振れ限界値算出部１４５とを具備するように構成されている。

最適露光時間算出部１４１は、絞り１２０に対応する絞り値と、被写体の輝度とに基づいて、最適露光時間Ｔｃを算出するように構成されている。

また、最適露光時間算出部１４１は、絞り１２０に対応する絞り値と、被写体の輝度と、ＩＳＯ感度とに基づいて、最適露光時間Ｔｃを算出するように構成されていてもよい。

ここで、ＩＳＯ感度とは、国際標準化機構ＩＳＯの定める規格（ＩＳＯ写真感度規格）に換算した値に相当する感度である。ＩＳＯ感度が高い場合、最適露光時間Ｔｃが短くても適正な露光状態で撮影可能であり、手振れを防止することができる。

手振れ限界値記憶部１４２は、図２（ａ）に示すように、焦点距離ｆと、最適露光時間Ｔｃと、基準手振れ閾値ＣＳＴＨ０（ｆ，Ｔｃ）（後述）とを関連付けて記憶するテーブル（以下、基準手振れ閾値テーブル）を記憶するように構成されている。

手振れ限界値記憶部１４２は、図２（ｂ）に示すように、焦点距離ｆと、最適露光時間Ｔｃと、手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）（後述）とを関連付けて記憶するテーブル（以下、手振れ閾値テーブル）を記憶するように構成されている。

手振れ限界値記憶部１４２は、図２（ｃ）に示すように、焦点距離ｆと、最適露光時間Ｔｃと、手振れ係数ＣＳＬ（ｆ，Ｔｃ）（後述）とを関連付けて記憶するテーブル（以下、手振れ係数テーブル）を記憶するように構成されている。

手振れ限界値記憶部１４２は、図２（ｄ）に示すように、焦点距離ｆと、手振れ限界値ＴＬとを関連付けて記憶するテーブル（以下、手振れ限界値テーブル）とを記憶するように構成されている。

ここで、手振れ限界値ＴＬとは、１枚撮影を行うか、又は多重露光撮影を行うかを決定する基準値となる所定の時間である。

撮影方法決定部１４３は、最適露光時間Ｔｃが手振れ限界値ＴＬ以上である場合、多重露光撮影を行うことを決定するように構成されている。

撮影方法決定部１４３は、手振れ限界値記憶部１４２の手振れ限界値テーブルを参照し、被写体の撮影時に設定された焦点距離ｆに関連付けれられた手振れ限界値ＴＬを取得するように構成されている。

また、撮影方法決定部１４３は、最適露光時間Ｔｃが手振れ限界値ＴＬ未満である場合、１枚撮影を行うことを決定するように構成されてもよい。

多重露光撮影制御部１４４は、多重露光撮影において、最適露光時間Ｔｃと、手振れ限界値ＴＬとに基づいて、１枚の被写体画像を取得するために必要な１枚の露光時間Ｔ１と、合成画像を取得するために必要な複数の被写体画像の合成枚数ｎと、当該複数の被写体画像を取得するために必要な全体撮影時間Ｔｏとを算出するように構成されている。

また、多重露光撮影制御部１４４は、算出した１枚の露光時間Ｔ１がフレーム周期Ｔｆより短い場合、フレーム周期Ｔｆに基づいて、全体撮影時間Ｔｏを算出するように構成されていてもよい。

また、多重露光撮影制御部１４４は、算出した１枚の露光時間Ｔ１がフレーム周期Ｔｆより短く、フレーム周期Ｔｆに基づいて算出した全体撮影時間Ｔｏが最適露光時間Ｔｃよりも長い場合、１枚の露光時間Ｔ１を長くし、当該１枚の露光時間Ｔ１に基づいて、合成枚数ｎと、全体撮影時間Ｔｏとを算出するように構成されていてもよい。

また、多重露光撮影制御部１４４は、算出した１枚の露光時間Ｔ１がフレーム周期Ｔｆより短く、フレーム周期Ｔｆに基づいて算出した全体撮影時間Ｔｏが最適露光時間Ｔｃよりも長い場合、最適露光時間Ｔｃを全体撮影時間Ｔｏとし、当該全体撮影時間Ｔｏに基づいて、１枚の露光時間Ｔ１と、合成枚数ｎとを算出するように構成されていてもよい。

また、多重露光撮影制御部１４４は、多重露光撮影において、後述する動き検出・合成部１６０において検出された動きの補正効果を示す評価値に基づいて、合成枚数ｎを算出するように構成されていてもよい。

ここで、動きの補正とは、後述する動き検出・合成部１６０において検出された複数の被写体画像間の動きに基づいて、合成画像に振れが生じないように、複数の被写体画像の位置を補正することである。

また、動きの補正効果を示す評価値（ｋ）とは、絞り値の段階によって、動きの補正効果を示す評価値である。

例えば、複数の被写体画像（露光時間＝１／６４秒で撮影）を補正して合成した合成画像が、被写体画像（露光時間＝１／８秒で撮影）と同等の画質を有する場合、補正効果は、絞り３段階分である。かかる場合、ｋは３となる。

また、多重露光撮影制御部１４４は、多重露光撮影において、ＩＳＯ感度に基づいて、合成枚数ｎを算出するように構成されていてもよい。

手振れ限界値算出部１４５は、焦点距離ｆと、手振れ係数ＣＳＬ（ｆ，Ｔｃ）とに基づいて、手振れ限界値ＴＬを算出し、手振れ限界値記憶部１４２の手振れ限界値テーブルに記憶するように構成されている。

また、手振れ限界値算出部１４５は、多重露光撮影において、複数の被写体画像間で検出された動き量に基づいて、所定係数である手振れ係数ＣＳＬ（ｆ，Ｔｃ）を更新するように構成されている。

具体的には、手振れ係数ＣＳＬ（ｆ，Ｔｃ）は、手振れ限界値記憶部１４２を参照し、手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）と、基準手振れ閾値ＣＳＴＨ０（ｆ，Ｔｃ）と、手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）とに基づいて算出され、手振れ限界値記憶部１４２の手振れ係数テーブルに更新されるように構成されている。

ここで、手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）とは、多重露光撮影において、後述する動き検出・合成部１６０によって検出された動き量である。

基準手振れ閾値ＣＳＴＨ０（ｆ，Ｔｃ）とは、被写体の撮影時に設定された焦点距離ｆ、最適露光時間Ｔｃにおいて、手振れが発生したとみなされる動き量の初期値である。

手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）とは、被写体の撮影時に設定された焦点距離ｆ、最適露光時間Ｔｃにおいて、手振れが発生したとみなされる動き量である。

また、手振れ係数ＣＳＬ（ｆ，Ｔｃ）は、手振れ係数ＣＳＬ（ｆ，Ｔｃ）を変化させるための所定係数であるゲインＣＳＧＡＩＮに基づいて、更新されるように構成されていてもよい。

画像処理部１５０は、撮像手段１３０において取得した光電変換画像に所定の処理を施して撮影画像を取得するように構成されている。

具体的には、画像処理部１５０は、光電変換画像に対して、デモザイク処理や色変換や階調変換処理やＪＰＥＧ圧縮処理等を施して撮影画像を取得するように構成されている。

動き検出・合成部１６０は、多重露光撮影において、複数の被写体画像を合成し、合成画像を取得するように構成されている。

また、動き検出・合成部１６０は、多重露光撮影において、複数の被写体画像間の動きを検出し、動き量を検出するように構成されている。

ここで、動き量（手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ））とは、複数の被写体画像間で検出された動きを画素数で示すものである。

例えば、動き量（手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ））は、複数の被写体画像間で、水平方向の動き（画素数）と、垂直方向の動き（画素数）とを比較し、大きい方の画素数としてもよい。

また、動き検出・合成部１６０は、多重露光撮影において、複数の被写体間の動きを補正して、当該複数の被写体画像を合成し、合成画像を取得するように構成されていてもよい。

例えば、図３に示すように、動き検出・合成部１６０は、多重露光撮影において、図３（ａ）と、図３（ｂ）とに示すような被写体画像を取得し、２枚の被写体画像間の動きを補正して、２枚の被写体画像を合成し、図３（ｃ）に示すような合成画像を取得するように構成されている。

かかる場合、動き検出・合成部１６０は、図３（ａ）と、図３（ｂ）との動きを特徴点抽出法等の公知の手法を用いて検出する。

かかる場合、図３（ｃ）に示すように、図３（ａ）と、図３（ｂ）との被写体画像間において、水平方向の動きは１画素、垂直方向の動きは３画素であるため、手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）は、３画素である。

（本発明の一実施形態に係る画像取得装置の動作）
以下、図４乃至図６を参照して、本実施形態に係る画像取得装置の動作について説明する。

図４は、本実施形態において、画像取得装置１００が、１枚撮影又は多重露光撮影を行う処理のフロー図である。

図４に示すように、ステップＳ１０１において、最適露光時間算出部１４１は、絞り１２０に対応する絞り値と、被写体の輝度とに基づいて、最適露光時間Ｔｃを算出する。

ステップＳ１０２において、撮影方法決定部１４３は、手振れ限界値記憶部１４２の手振れ限界値テーブルを参照し、被写体の撮影時に設定された焦点距離ｆに関連付けれられた手振れ限界値ＴＬを取得する。

ステップＳ１０３において、撮影方法決定部１４３は、手振れ限界値ＴＬを基準値として、１枚撮影を行うか、又は多重露光撮影を行うかを決定する。

具体的には、最適露光時間Ｔｃが手振れ限界値ＴＬ未満である場合、撮影方法決定部１４３は１枚撮影を行うことを決定し、本動作はステップＳ１０４に進む。最適露光時間Ｔｃが手振れ限界値ＴＬ以上である場合、撮影方法決定部１４３は多重露光撮影を行うことを決定し、本動作はステップＳ１０５に進む。

ステップＳ１０４において、画像取得装置１００は、１枚撮影を行う。

ステップＳ１０５において、多重露光撮影制御部１４４は、多重露光撮影において、１枚の被写体画像を取得するために必要な１枚の露光時間Ｔ１を算出する。具体的には、１枚の露光時間Ｔ１は、手振れ限界値ＴＬ以下とする。

ステップＳ１０６において、多重露光撮影制御部１４４は、多重露光撮影において合成画像を取得するために必要な複数の被写体画像の合成枚数ｎを算出する。例えば、合成枚数ｎは、「合成枚数ｎ＝最適露光時間Ｔｃ／（１枚の露光時間Ｔ１×Ｓ）」を用いて算出される。

ここで、上述の式におけるＳは、ＩＳＯ感度を決定するゲイン（感度）である。ＩＳＯ感度を決定するゲインが大きくなると、ＩＳＯ感度が高くなり、上述の式では、合成枚数ｎが減少する。

ステップＳ１０７において、多重露光撮影制御部１４４は、合成枚数ｎと、合成枚数ｎの上限値とを比較する。

例えば、合成枚数ｎの上限値は、上述した補正効果を示す評価値ｋを用いて、２^kとしてもよい。

合成枚数ｎが上限値以下である場合、本動作はステップＳ１０９に進む。合成枚数ｎが上限値より大きい場合、本動作はステップＳ１０８に進む。

ステップＳ１０８において、多重露光撮影制御部１４４は、合成枚数ｎ抑制処理を行い、合成枚数ｎと、１枚の露光時間Ｔ１とを再度算出する。

具体的には、合成枚数ｎは、「合成枚数ｎ＝２^k」を用いて算出される。１枚の露光時間Ｔ１は、「１枚の露光時間Ｔ１＝最適露光時間Ｔｃ／２^k」を用いて算出される。

ステップＳ１０９において、多重露光撮影制御部１４４は、１枚の露光時間Ｔ１と、フレーム周期Ｔｆとを比較する。

１枚の露光時間Ｔ１がフレーム周期Ｔｆ以上である場合、本動作はステップＳ１１０に進む。１枚の露光時間Ｔ１がフレーム周期Ｔｆ未満である場合、本動作はステップＳ１１１に進む。

ステップＳ１１０において、多重露光撮影制御部１４４は、多重露光撮影において複数の被写体画像を取得するために必要な全体撮影時間Ｔｏを算出する。具体的には、全体撮影時間Ｔｏは、「全体撮影時間Ｔｏ＝１枚の露光時間Ｔ１×合成枚数ｎ」を用いて算出され、最適露光時間Ｔｃと等しい。

ステップＳ１１１において、多重露光撮影制御部１４４は、フレーム周期Ｔｆに基づいて、全体撮影時間撮像Ｔｏを算出する。具体的には、全体撮影時間Ｔｏは、「全体撮影時間Ｔｏ＝フレーム周期Ｔｆ×合成枚数ｎ」を用いて算出される。

ステップＳ１１２において、多重露光撮影制御部１４４は、ステップＳ１１１において算出した全体撮影時間Ｔｏと、最適露光時間Ｔｃとを比較する。

全体撮影時間Ｔｏが最適露光時間Ｔｃ以下である場合、本動作はステップＳ１１４に進む。全体撮影時間Ｔｏが最適露光時間Ｔｃ未満である場合、本動作はステップＳ１１３に進む。

ステップＳ１１３において、多重露光撮影制御部１４４は、全体撮影時間Ｔｏ抑制処理を行う。具体的には、以下に示す通りである。

図５は、本実施形態における、全体撮影時間Ｔｏ抑制処理のフロー図である。

図５に示すように、ステップＳ２０１において、多重露光撮影制御部１４４は、１枚の露光時間Ｔ１を優先して算出するか、又は全体撮影時間Ｔｏを優先して算出するかを決定する。

多重露光撮影制御部１４４が１枚の露光時間Ｔ１を算出し、当該１枚の露光時間Ｔ１に基づいて合成枚数ｎと全体撮影時間Ｔｏを算出する場合、本動作はステップＳ２０２に進む。多重露光撮影制御部１４４が全体撮影時間Ｔｏを算出し、当該全体撮影時間Ｔｏに基づいて１枚の露光時間Ｔ１と合成枚数ｎとを算出する場合、本動作はステップＳ２０６に進む。

ステップＳ２０２において、多重露光撮影制御部１４４は、１枚の露光時間Ｔ１を長くする。

具体的には、１枚の露光時間Ｔ１は、「１枚の露光時間Ｔ１＝手振れ限界値ＴＬ×係数Ｃ」を用いて算出される。

係数Ｃは、１枚の露光時間Ｔ１を長くし、全体撮影時間Ｔｏを最適露光時間Ｔｃ程度に抑制するための係数である。例えば、係数Ｃは４としてもよい。

ステップＳ２０３において、多重露光撮影制御部１４４は、ステップ２０２において算出した１枚の露光時間Ｔ１と、フレーム周期Ｔｆとを比較する。

１枚の露光時間Ｔ１がフレーム周期Ｔｆ以下である場合、本動作はステップＳ２０５に進む。１枚の露光時間Ｔ１がフレーム周期Ｔｆより大きい場合、本動作はステップＳ２０４に進む。

ステップＳ２０４において、多重露光撮影制御部１４４は、「１枚の露光時間Ｔ１＝フレーム周期Ｔｆ」とする。

ステップＳ２０５において、多重露光撮影制御部１４４は、再算出した１枚の露光時間Ｔ１に基づいて、合成枚数ｎと、全体撮影時間Ｔｏとを算出する。

具体的には、合成枚数ｎは、「合成枚数ｎ＝最適露光時間Ｔｃ×１枚の露光時間Ｔ１」を用いて算出される。全体撮影時間Ｔｏは、「全体撮影時間Ｔｏ＝フレーム周期Ｔｆ×合成枚数ｎ」を用いて算出される。

ステップＳ２０６において、多重露光撮影制御部１４４は、「全体撮影時間Ｔｏ＝最適露光時間Ｔｃ」とする。

ステップＳ２０７において、多重露光撮影制御部１４４は、再算出した全体撮影時間Ｔｏに基づいて、１枚の露光時間Ｔ１と、合成枚数ｎとを算出する。

具体的には、１枚の露光時間Ｔ１は、「１枚の露光時間Ｔ１＝フレーム周期Ｔｆ」とする。合成枚数ｎは、「合成枚数ｎ＝最適露光時間Ｔｃ／１枚の露光時間Ｔ１」を用いて算出される。

図４のステップＳ１１４において、画像取得装置１００は、算出した１枚の露光時間Ｔ１と合成枚数ｎと全体撮影時間Ｔｏに従って、多重露光撮影を行う。

ステップＳ１１５において、手振れ限界値算出部１４５は、手振れ限界値ＴＬ算出処理を行う。具体的には、以下に示す通りである。

図６は、本実施形態において、手振れ限界値ＴＬ算出処理のフロー図である。

図６に示すように、ステップＳ３０１において、手振れ限界値算出部１４５は、動き検出・合成部１６０によって検出された動き量である手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）を取得する。

ステップＳ３０２において、手振れ限界値算出部１４５は、手振れ限界値記憶部１４２の基準手振れ閾値テーブルを参照し、焦点距離ｆと、最適露光時間Ｔｃとに関連付けられた基準手振れ閾値ＣＳＴＨ０（ｆ，Ｔｃ）を取得する。

また、手振れ限界値算出部１４５は、手振れ限界値記憶部１４２の手振れ係数テーブルを参照し、焦点距離ｆと、最適露光時間Ｔｃとに関連付けられた手振れ係数ＣＳＬ（ｆ，Ｔｃ）を取得する。

また、手振れ限界値算出部１４５は、手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）を算出し、手振れ限界値記憶部１４２の手振れ閾値テーブルに、焦点距離ｆと、最適露光時間Ｔｃと、算出した手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）とを関連付けて記憶する。

具体的には、手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）は、「手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）＝基準手振れ閾値ＣＳＴＨ０（ｆ，Ｔｃ）×手振れ係数ＣＳＬ（ｆ，Ｔｃ）」を用いて算出される。

ステップＳ３０３において、手振れ限界値算出部１４５は、手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）と手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）とを比較する。

手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）が手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）以上である場合、本動作はステップＳ３０４に進む。手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）が手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）未満である場合、本動作はステップＳ３０５に進む。

ステップＳ３０４において、手振れ限界値算出部１４５は、正数であるＣＳＧＰをゲインＣＳＧＡＩＮに設定する。

ステップＳ３０５において、手振れ限界値算出部１４５は、正数であるＣＳＭＰをゲインＣＳＧＡＩＮに設定する。

ここで、ゲインＣＳＧＡＩＮとは、手振れ係数ＣＳＬ（ｆ，Ｔｃ）を調整するための所定の係数である。例えば、ＣＳＧＰは、ＣＳＭＰよりも大きくなるように設定されてもよい。

ステップＳ３０６において、手振れ限界値算出部１４５は、手振れ係数ＣＳＬ（ｆ，Ｔｃ）を算出し、手振れ限界値記憶部１４２の手振れ係数テーブルに、焦点距離ｆと、最適露光時間Ｔｃと、手振れ係数ＣＳＬ（ｆ，Ｔｃ）とを関連付けて更新する。

具体的には、手振れ係数ＣＳＬ（ｆ，Ｔｃ）は、「手振れ係数ＣＳＬ（ｆ，Ｔｃ）＋＝ゲインＣＳＧＡＩＮ×｛手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）−手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）｝」を用いて算出される。

上述の式を用いることによって、手振れ限界値算出部１４５は、手振れ係数ＣＳＬ（ｆ，Ｔｃ）を、手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）と手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）との画素数の差に応じて、増減させることができる。

ここで、手振れ係数ＣＳＬ（ｆ，Ｔｃ）の初期値は、１．０である。

ステップＳ３０７において、手振れ限界値算出部１４５は、手振れ限界値ＴＬを算出し、手振れ限界値記憶部１４２の手振れ限界値テーブルに、焦点距離ｆと、手振れ限界値ＴＬとを関連付けて記憶する。

具体的には、手振れ限界値ＴＬは、「手振れ限界値ＴＬ＝（１／ｆ）／手振れ係数ＣＳＬ（ｆ，Ｔｃ）」を用いて算出される。

次に、図６に示す手振れ限界値ＴＬ算出処理についての一例を示す。

以下において、焦点距離をｆ、基準手振れ閾値をＣＳＴＨ０（ｆ，Ｔｃ）、手振れ閾値をＣＳＴＨ（ｆ，Ｔｃ）、手振れ係数をＣＳＬ（ｆ，Ｔｃ）、手振れ画素数をＣＳＰＸ（ｆ，Ｔｃ）、ゲインをＣＳＧＡＩＮとする。

例えば、ｆが６０ｍｍ、Ｔｃが１／６０秒、ＣＳＴＨ０（６０，１／６０）が５画素、ＣＳＬ（６０，１／６０）が１．０、ＴＬが１／６０秒である場合、動き検出によって算出されたＣＳＰＸ（６０，１／６０）が１０画素であるとする。

かかる場合、ステップＳ３０２において、ＣＳＴＨ（６０，１／６０）は、５×１．０＝５（画素）と算出される。

ステップＳ３０３において、ＣＳＰＸ（６０，１／６０）＝１０はＣＳＴＨ（６０，１／６０）＝５より大きいため、ステップＳ３０４において、例えばＣＳＧＰ＝０．１がＣＳＧＡＩＮに設定される。

ステップＳ３０６において、ＣＳＬ（６０，１／６０）は、１．０＋０．１×（１０−５）＝１．５と算出される。

ステップＳ３０７において、ＣＳＬ（６０，１／６０）は、（１／６０）／１．５＝１／９０と算出される。

この結果、ＣＳＬ（６０，１／６０）は、１．０から１．５に更新されることによって、手振れ限界値ＴＬは、１／６０（秒）から１／９０（秒）となるため、次回の撮影においては、最適露光時間Ｔｃが１／９０秒以上の場合、多重露光撮影を行う。

以上の動作を繰り替えすことによって、ユーザが手振れする露光時間に手振れ限界値ＴＬが収束する。

（従来の画像取得装置と本発明の一実施形態に係る画像取得装置との比較）
以下において、図７及び図８を参照して、多重露光撮影時の手振れ防止効果について、従来の画像取得装置と本発明の一実施形態に係る画像取得装置とを比較して説明する。

以下において、１枚の露光時間Ｔ１は、Ｔ１−ａ（秒）、Ｔ１−ｂ（秒）、Ｔ１−ｃ（秒）、Ｔ１−ｄ（秒）とする。フレーム周期Ｔｆは、Ｔｆ（秒）とする。最適露光時間Ｔｃは、Ｔｃ（秒）とする。全体撮影時間Ｔｏは、Ｔｏ−ａ（秒）、Ｔｏ−ｂ（秒）、Ｔｏ−ｃ（秒）、Ｔｏ−ｄ（秒）とする。合成枚数ｎは、ｎ（枚）とする。

図７は、従来の画像取得装置における多重露光撮影を示す図である。

図７（ａ）に示すように、従来の画像取得装置では、多重露光撮影において、１枚の露光時間Ｔ１−ａがフレーム周期Ｔｆよりも短い場合、全体撮影時間Ｔｏ−ａが長くなる。

かかる場合、全体撮影時間Ｔｏ−ａが最適露光時間Ｔｃと比較し非常に長くなるため、手振れが発生し易い。

図７（ｂ）に示すように、従来の画像取得装置において、全体撮影時間Ｔｏ−ｂを抑制すると、１枚の露光時間Ｔ１−ｂが長くなってしまう。

かかる場合、１枚の露光時間Ｔ１−ｂが長くなるため、手振れが発生し易い。

図８は、本発明の一実施形態に係る画像取得装置における多重露光撮影を示す図である。

本発明の一実施形態に係る画像取得装置では、多重露光撮影において１枚の露光時間Ｔ１−ｃ及び１枚の露光時間Ｔ１−ｄが、フレーム周期Ｔｆよりも短く、全体撮影時間Ｔｏ−ｃ及び全体撮影時間Ｔｏ−ｄが、最適露光時間Ｔｃよりも長い場合、以下のように全体撮影時間Ｔｏ−ｃ及び全体撮影時間Ｔｏ−ｄを抑制する。

図８（ａ）に示すように、１枚の露光時間Ｔ１−ｃが優先して算出される場合、１枚の露光時間Ｔ１−ｃが長くなりすぎず、かつ全体撮影時間Ｔｏ−ｃも抑制される。

かかる場合、１枚の露光時間Ｔ１−ｃが短いため、手振れを防止することができる。また、全体撮影時間Ｔｏ−ｃも図７（ａ）に示す従来の画像取得装置における全体撮影時間Ｔｏ−ａと比べて非常に短いため、手振れが発生し難い。

また、図８（ｂ）に示すように、全体撮影時間Ｔｏ−ｄが優先して算出される場合、全体撮影時間Ｔｏ−ｄが最適露光時間Ｔｃと等しくなる。

かかる場合、全体撮影時間Ｔｏ−ｄが抑制されているため、手振れが発生し難い。また、１枚の露光時間Ｔ１−ｄも図７（ｂ）に示す従来の画像取得装置における１枚の露光時間Ｔ１−ｂと比べて短いため、手振れが発生し難い。

（本発明の一実施形態に係る画像取得装置の作用・効果）
本実施形態に係る画像取得装置によれば、多重露光撮影の度に、複数の被写体画像間の動き（手振れ）に基づいて、１枚撮影を多重露光撮影に切り替える手振れ限界値ＴＬを変更可能であるため、手振れの発生に応じて、臨機応変に１枚撮影を多重露光撮影に切り替えることができる。

本実施形態に係る画像取得装置によれば、合成枚数ｎの上限値を算出することによって、合成枚数ｎを制限することができるため、合成枚数ｎの増加による合成画像の画質の低下を防ぐことができる。

本実施形態に係る画像取得装置によれば、多重露光撮影において、１枚の露光時間Ｔ１がフレーム周期Ｔｆより短い場合であっても、１枚の露光時間Ｔ１が長すぎずかつ全体撮影時間Ｔｏを抑制するように算出されることによって、長い１枚の露光時間Ｔ１による手振れを防ぐことができる。

本実施形態に係る画像取得装置によれば、多重露光撮影において、１枚の露光時間Ｔ１がフレーム周期Ｔｆより短い場合であっても、全体撮影時間Ｔｏを抑制することができるため、長い全体撮影時間Ｔｏによる手振れを防ぐことができる。

（その他の実施形態）
本発明は上記の実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

このように、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明の一実施形態に係る画像取得装置のブロック構成を示す図である。 本発明の一実施形態に係る手振れ限界値記憶部の一例である。 本発明の一実施形態に係る画像取得装置における動きの検出を説明するための図である。 本発明の一実施形態に係る画像取得装置が１枚撮影又は多重露光撮影を行う動作を示すフローチャートである。 本発明の一実施形態に係る全体撮影時間抑制処理を示すフローチャートである。 本発明の一実施形態に係る手振れ限界値算出処理を示すフローチャートである。 従来の画像取得装置における多重露光撮影を説明するための図である。 本発明の一実施形態に係る画像取得装置における多重露光撮影を説明するための図である。 従来の画像取得装置における１枚撮影及び多重露光撮影を説明するための図である。 従来の画像取得装置が１枚撮影又は多重露光撮影を行う動作を示すフローチャートである。 従来の画像取得装置が１枚撮影又は多重露光撮影を行う決定する基準を説明するための図である。

符号の説明

１００…画像取得装置
１１０…レンズ
１２０…絞り
１３０…撮像手段
１４０…撮像制御部
１４１…最適露光時間算出部
１４２…手振れ限界値記憶部
１４３…撮影方法決定部
１４４…多重露光撮影制御部
１４５…手振れ限界値算出部
１５０…画像処理部
１６０…動き検出・合成部

Claims (7)

1. レンズと絞りとを介して露光された撮像手段を用いて被写体画像を取得し、該被写体画像を用いて多重露光撮影を行う画像取得装置であって、
   前記絞りに対応する絞り値と、前記被写体の輝度とに基づいて、前記撮像手段の露光時間を算出する露光時間算出部と、
   前記レンズの焦点距離と、所定係数とに基づいて、所定時間を算出する所定時間算出部と、
   前記露光時間が、前記所定時間以上である場合、複数の被写体画像を取得し、該複数の被写体画像を合成することによって、前記被写体の合成画像を取得する前記多重露光撮影を行うことを決定する撮影方法決定部と、
   前記多重露光撮影において、前記複数の被写体画像間の動きを検出する動き検出部と、
   検出された動き量に基づいて、所定係数を更新する所定係数算出部とを具備することを特徴とする画像取得装置。
2. 前記多重露光撮影において、前記露光時間と、前記所定時間とに基づいて、１枚の被写体画像を取得するために必要な１枚の露光時間と、前記合成画像を取得するために必要な前記複数の被写体画像の合成枚数と、前記複数の被写体画像を取得するために必要な全体撮影時間とを算出する多重露光撮影制御部を具備することを特徴とする請求項１に記載の画像取得装置。
3. 前記多重露光撮影制御部は、前記動きの補正効果を示す評価値によって、前記合成枚数の上限値を算出し、該上限値に基づいて前記合成枚数を算出することを特徴とする請求項２に記載の画像取得装置。
4. 前記多重露光撮影制御部は、前記１枚の露光時間が、フレーム周期より短い場合、前記フレーム周期に基づいて、前記全体撮影時間を算出することを特徴とする請求項２又は請求項３に記載の画像取得装置。
5. 前記多重露光撮影制御部は、前記１枚の露光時間が前記フレーム周期より短く、前記フレーム周期に基づいて算出した前記全体撮影時間が前記露光時間よりも長い場合、前記１枚の露光時間を長くし、該１枚の露光時間に基づいて、前記合成枚数と、前記全体撮影時間とを算出することを特徴とする請求項４に記載の画像取得装置。
6. 前記多重露光撮影制御部は、前記１枚の露光時間が前記フレーム周期より短く、前記フレーム周期に基づいて算出した前記全体撮影時間が前記露光時間よりも長い場合、前記露光時間を前記全体撮影時間とし、該全体撮影時間に基づいて、前記１枚の露光時間と、前記合成枚数とを算出することを特徴とする請求項４に記載の画像取得装置。
7. コンピュータにレンズと絞りとを介して露光された撮像手段を用いて被写体画像を取得し、該被写体画像を用いて多重露光撮影を行う画像取得方法を実行させるためのプログラムであって、
   前記絞りに対応する絞り値と、前記被写体の輝度とに基づいて、前記撮像手段の露光時間を算出する手順と、
   前記レンズの焦点距離と、所定係数とに基づいて、所定時間を算出する手順と、
   前記露光時間が、前記所定時間以上である場合、複数の被写体画像を取得し、該複数の被写体画像を合成することによって、前記被写体の合成画像を取得する前記多重露光撮影を行うことを決定する手順と、
   前記多重露光撮影において、前記複数の被写体画像間の動きを検出する手順と、
   検出された動き量に基づいて、所定係数を更新する手順とを具備することを特徴とするプログラム。