JP6351452B2 - 撮像装置、撮像方法およびプログラム - Google Patents

Description

本発明は、所定のフレームレートで動画記録を行う撮像装置、撮像方法およびプログラムに関し、詳しくは所定のフレームレートを２以上に分割して複数の画像データを取得し、この複数の画像データを合成して記録する撮像装置、撮像方法およびプログラムに関する。

動画記録は所定フレームレートで撮像を繰り返し、動画の再生時には連続的に撮影された画像を再生する。被写体が明るい場合にシャッタ速度をフレームレートで決まる時間より短くして動画記録すると、各フレームの露光時間はフレームレートで決まる時間よりも短くなるために、動画再生時には、各フレーム画像の連続性が悪くなり、所謂、ぱらぱら漫画のようになってしまい、スムーズな動画再生とはならない。

そこで、特許文献１においては、動画記録時に、動きのある被写体では１フレーム中のシャッタ速度（露光時間）を長く、エッジ強調を弱め、一方、動きのない被写体ではシャッタ速度を速くし、エッジ強調を強めるようにしている。

特開２００７−１８９２９５号公報

上述したように、動画記録の場合には、フレームレート（例えば、６０ｆｐｓ）の制約がある。画像の明るさを一定にしながら、パラパラ感のないスムーズな動画記録を行うために、決められたフレームレートの時間制約の範囲内のシャッタ速度に応じて、絞り値やゲインを変えたり、また光路中にＮＤフィルタを出し入れしている。

すなわち、決められたフレームレートよりもシャッタ速度をあまり高速にすることはできないので、被写界の明るさに合わせて絞り駆動を行う必要がある。その際、フレームレートで決まる時間内に絞り駆動時間を収めるために絞りの駆動速度を速くすると、人間の眼には瞬きのように一瞬暗くなる画像になってしまい、画像の品位が悪化してしまう。高画質の動画記録においては、このような画像の品位の劣化を防止する必要がある。また、ＮＤフィルタの出し入れを行う場合でも同様に画像の品位が劣化してしまう。

上述の絞りやＮＤフィルタによる露出調整以外に、撮像素子のゲインを調整する方法が考えられる。しかし、飽和した画像データのゲインを低下する方法では、失われた画像データを再現することはできない。すなわち、撮像した画像データをゲインの下限（０ｄＢ）以下に変更したとしても、撮像素子ですでに飽和している場合には、リニアリティを確保できず、元の画像の階調を再現することができない。例えば、８ｂｉｔ階調とすると、飽和してしまうような光量（この場合には、２５５）の場合に、６ｄＢゲインを低下すると１２７になってしまい、これ以上の階調表現ができなくなってしまう。

また、明るい環境で動きのある被写体の場合には、決められたフレームレートにシャッタ速度を合せないと（例えば、ＨＤ３０Ｐの場合は１／３０ｓｅｃのシャッタ速度）、全ての動きを記録しておくことができない。１フレーム中のシャッタ速度（露光時間）を速くすると、すべての動きが記録できないので、ぱらぱら漫画のようにぎこちなくなってしまう。

本発明は、このような事情を鑑みてなされたものであり、動画記録の際に、各フレーム画像が連続的に繋がって再生可能な動画を記録することが可能な撮像装置、撮像方法およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、動画記録を行う撮像装置において、撮像素子を有し、指示された周期で繰り返し撮像を行い、動画像データを出力する撮像部と、上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求める分割周期演算部と、上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像部に指示する切換指示部と、上記第１の周期内に上記第２の周期で撮像した複数の画像データを画像合成して、合成画像を生成する画像合成部と、上記切換指示部が上記撮像部に上記第１の周期を指示して撮像した画像データに対しては上記画像合成部での画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データを、上記複数の画像データの輝度レベルが所定のスレッシュレベル以上の場合には比較明合成によって、一方、輝度レベルが所定のスレッシュレベル未満の場合には比較暗合成によって上記画像合成部で合成画像を生成し、動画像を得るように制御する制御部と、を備える。

第２の発明に係る撮像装置は、上記第１の発明において、上記スレッシュレベルは、動画記録前の画像データに基づいて算出される。

第３の発明に係る撮像装置は、動画記録を行う撮像装置において、撮像素子を有し、指示された周期で繰り返し撮像を行い、動画像データを出力する撮像部と、上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求める分割周期演算部と、上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像部に指示する切換指示部と、上記第１の周期内に上記第２の周期で撮像した複数の画像データを画像合成して、合成画像を生成する画像合成部と、上記第１の周期内に上記第２の周期で撮像した複数の画像データを画像合成して、合成画像を生成する画像合成部と、上記切換指示部が上記撮像部に上記第１の周期を指示して撮像した画像データに対しては上記画像合成部での画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データを上記画像合成部で比較動合成によって画像合成を生成する。
第４の発明に係る撮像装置は、上記第１又は第３の発明において、上記第２の周期は、上記撮像部からの動画像データが飽和しなくなる周期である。
第５の発明に係る撮像装置は、上記第１又は第３の発明において、上記第２の周期は、上記撮像部からの動画像データを露光するシャッタ速度に相当する。

第６の発明に係る撮像方法は、動画記録を行う撮像方法において、撮像素子を有する撮像部に指示した周期で繰り返し撮像を行い、動画像データを出力し、上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求め、上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像の切換指示を行い、上記撮像部に上記第１の周期を指示して撮像した画像データに対しては画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データの合成画像を、上記複数の画像データの輝度レベルが所定のスレッシュレベル以上の場合には比較明合成により、一方、輝度レベルが所定のスレッシュレベル未満の場合には比較暗合成により生成し、動画像を得るように制御する。
第７の発明に係る撮像方法は、動画記録を行う撮像方法において、撮像素子を有する撮像部に指示した周期で繰り返し撮像を行い、動画像データを出力し、上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求め、上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像の切換指示を行い、上記撮像部に上記第１の周期を指示して撮像した画像データに対しては画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データの合成画像を比較動合成により生成し、動画像を得るように制御する。

第８の発明に係るプログラムは、動画記録を行う撮像装置におけるコンピュータを実行させるためのプログラムにおいて、撮像素子を有する撮像部に指示した周期で繰り返し撮像を行い、動画像データを出力し、上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求め、上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像の切換指示を行い、上記撮像部に上記第１の周期を指示して撮像した画像データに対しては画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データの合成画像を、上記複数の画像データの輝度レベルが所定のスレッシュレベル以上の場合には比較明合成により、一方、輝度レベルが所定のスレッシュレベル未満の場合には比較暗合成により生成し、動画像を得るように制御する、ことを上記コンピュータに実行させる。
第９の発明に係るプログラムは、動画記録を行う撮像装置におけるコンピュータを実行させるためのプログラムにおいて、撮像素子を有する撮像部に指示した周期で繰り返し撮像を行い、動画像データを出力し、上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求め、上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像の切換指示を行い、上記撮像部に上記第１の周期を指示して撮像した画像データに対しては画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データの合成画像を比較動合成により生成し、動画像を得るように制御する、ことを上記コンピュータに実行させる。

本発明によれば、動画記録の際に、各フレーム画像が連続的に繋がって再生可能な動画を記録することが可能な撮像装置、撮像方法およびプログラムを提供することができる。

本発明の一実施形態に係るカメラの主として電気回路を示すブロック図である。 本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、フレーム分割を説明する図である。 本発明の一実施形態におけるカメラにおいて、分割露光を行った際に画像合成の変形例を示す図である。 本発明の一実施形態におけるカメラにおいて、フレームの分割の第１の変形例を説明する図である。 本発明の一実施形態におけるカメラにおいて、フレームの分割の第２の変形例を説明する図である。 本発明の一実施形態の変形例に係るカメラの記録の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの記録の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの変形例において、画像合成を説明する図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラであり、概略、撮像素子から読み出される画像信号に基づく画像データを表示部にライブビュー表示すると共に動画釦の操作に応じて、所定のフレームレートで動画撮影を行い、記録用に画像処理した動画の画像データを外部メモリに記録する。このとき画素データが飽和するような被写体輝度の場合には、１フレーム分の露光時間を分割し、２フレーム以上のフレームに分割して撮影を行う。そして、複数の分割フレームの画像データを合成し、１フレーム分の画像を得る。

図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態におけるカメラは、撮像部１、画像処理部１０、システム制御部２０、およびバス３１とこれに接続された各部を有する。なお、本実施形態においては、撮像部１に含まれるレンズ２は、カメラ本体と一体に構成されているが、一体型の構成に限らず、レンズ交換式カメラに対応する交換レンズとしても勿論かまわない。

撮像部１内には、レンズ２、イメージセンサ４を有する。レンズ２は、イメージセンサ４に被写体の光学像を結像する。このレンズ２内には、露出量を調節するための絞り値を調節する絞りを備える。イメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、画像信号を、画像処理部１０およびバス３１に出力する。バス３１は、各ブロック間で信号の送受信を行うための信号線である。また、イメージセンサ４は、グローバルシャッタまたはローリングシャッタの電子シャッタを有し、１フレームまたは分割されたフレームに相当する露光時間を制御することができる。イメージセンサ４は、指示された周期で繰り返し撮像を行い、動画像データを出力する撮像部として機能する。

画像処理部１０は、イメージセンサ４から出力された画像信号に画像処理を施し、合成処理部１４、ゲイン印加部１５、および現像処理部１６を有する。

画像合成部１４は、イメージセンサ４から読み出された複数の分割フレームに対応する画像データの内、それぞれ対応する画素毎に出力を合成処理し、合成画像データを生成する。この合成処理としては、加算平均合成、比較明合成、比較暗合成、スレッシュを決めた比較明合成、スレッシュを決めた比較暗合成がある。本実施形態においては、画像合成として加算平均合成処理を使用しており、この例における処理については、図４を用いて後述する。それ以外の合成処理については、図９を用いて本実施形態の変形例として後述する。画像合成部１４は、第１の周期内に第２の周期で撮像した複数の画像データを画像合成して、合成画像を生成する画像合成部として機能する。

ゲイン印加部１５は、画像データに対して、所定のゲイン値を乗算する。ゲイン値としてはプラスゲイン以外にもマイナスゲインもあり、例えば、マイナスゲインの一例として、１／２のゲイン値を乗算することで画像データの出力が１／２となり、ＮＤ２フィルタ（光量を１／２に減光するフィルタ）と同等の減光効果を施すことができる。また、デジタルＮＤの設定値が、例えばＮＤ８の場合は１／８を乗算する。ゲイン値は、ユーザが入力ＩＦ３８等を介して設定可能である。このように、ゲイン印加部１５は、所望の減光効果を実現することができる。

現像処理部１６は、合成処理部１４において生成されたＲＡＷ画像データ（後述の現像処理前の画像データ）に対して、デモザイキング（同時化処理）、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う。

レベル判定部１７は、画素データの出力レベルを判定する。本実施形態においては、画素データが飽和レベルに達しないように、１フレーム当たりで撮像を繰り返す分割数（以下、分割数と称す）を決めるので、このレベル判定部１７は飽和レベルに達しているか否かを判定することができる。画素データが飽和レベルに達しているか否かは、ＲＡＷ画像データのビット数の飽和出力を用いて判定する。画素データの出力レベルを表示させ、使用者が判断して、調整しながら分割数を設定させるようにしても良い。

分割フレーム数検出部１９は、レベル判定部１７において、画像データの画素出力が飽和すると判定された場合に、イメージセンサ４からの画像データが飽和しなくなるフレーム数を検出する。具体的には、ライブビュー表示中に、予め決められている１フレームの露光時間を分割し、この分割したフレーム時間で露光を行い、レベル判定部１７において画素データが飽和していないかを判定し、画素データが飽和しなくなるまでフレーム数を増加させる。分割フレーム数検出部１９は、動画記録の際のフレームレートに基づく第１の周期より短い第２の周期を求める分割周期演算部として機能する。本実施形態においては、第２の周期は第１の周期を２以上の整数で分割した値を用いているが、図５を用いて後述するように、きっちり２以上の整数で割り切れない周期としても良い。

なお、全ての画素データが飽和しなくなるまで、フレーム数を増加させてもよいが、飽和画素が全画素数に対して一定の割合以下になるまで、分割数を増加させるようにしてもよい。また、実際に分割数を変更しながら画素データのレベルを検出する以外にも、例えば、画素データのレベル（平均輝度レベルやピーク輝度レベル等）に基づいて、分割数を算出するようにしてもよい。

バス３１には、前述の撮像部１、画像処理部１０、レベル判定部１７、分割フレーム数検出部１９のほか、内部メモリ３３、外部メモリ３６、表示部３７、入力ＩＦ３８、マイク３９、システム制御部２０が接続されている。

内部メモリ３３は、カメラの動作に必要な各種設定情報や、システム制御部２０が実行するために必要なプログラムコードを記憶したり、画像処理時に途中経過の画像を一時的に記憶する。内部メモリ３３は、フラッシュメモリ等の不揮発性メモリ、ＤＲＡＭ等の揮発性のメモリによって構成される。

外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリ３６は、現像処理部１６で現像処理された画像データを記録し、また再生時には、記録された画像データが読み出され、カメラの外部に出力可能である。

表示部３７は、ＴＦＴ（Thin Film Transistor）液晶デバイスや有機ＥＬ表示デバイスなどからなる背面表示部やＥＶＦ（電子ビューファインダ）によって構成され、現像処理部１６によって現像された画像を表示する。

入力ＩＦ３８は、レリーズ釦、動画釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定や動画記録指示等の撮影動作の指示を行う。

マイク３９は、動画記録時に周囲の音声をアナログ信号に変換する。なお、このアナログ音声信号はデジタル形式の音声データに変換され、動画の画像データと共に、外部メモリ３６に記録される。

システム制御部２０は、ＣＰＵ（Central Processing Unit）を有し、内部メモリ３３内に記憶されたプログラムコードに従ってカメラの全体制御を行う。システム制御部２０は、前述に示す撮像部１に含まれる各部位に対して制御信号を送信させる。同様に撮像部１からの出力信号に対してバス３１を介して受信を行う。そのほかに、前述の画像処理部１０、レベル判定部１７、分割フレーム数検出部１９のほか、内部メモリ３３、外部メモリ３６、表示部３７、入力ＩＦ３８およびマイク３９の各部位に対して制御信号の送受信を行う。

また、システム制御部２０は、第１の周期と第２の周期を選択的に切り換えて、撮像部に指示する切換指示部として機能する（後述する図２のＳ９、Ｓ１１、Ｓ１３参照）。また、システム制御部２０は、切換指示部が撮像部に第１の周期を指示して撮像した画像データに対しては画像合成部での画像合成を行わず、一方、第２の周期を指示して撮像した画像データに対しては、第１の周期内に得られた複数の画像データを画像合成部で合成画像を生成し、動画像を得るように制御する制御部として機能する（後述する図２のＳ１７、図７、図８参照）。

次に、図２に示すフローチャートを用いて、本実施形態における動作について説明する。このフローチャート（後述する図７および図８に示すフローチャートも含む）は、内部メモリ３１に記憶されたプログラムコードに従って、システム制御部が各部を制御することにより実行する。

パワースイッチ等、電源が入ると、図２に示すフローがスタートする。まず、露光を開始し、表示部がライブビュー表示を行う（Ｓ１）。ここでは、イメージセンサ４からの画像データを画像処理部１０がライブビュー表示用に画像処理を行い、表示部３７にライブビュー表示を行う。撮影者はライブビュー表示を観察し、構図を決め、また静止画の撮影タイミングや動画の撮影タイミングを決める。

ステップＳ１においてライブビュー表示を行うと、次に、記録画質の設定を行う（Ｓ３）。ここでは、動画記録のためのフレームレートの設定を行う。フレームレートの設定は入力ＩＦ３８において行う。フレームレートは、動画記録時の１秒あたりの画像数を示し、一般的に、３０、６０といった値が設定される。

ステップＳ３において記録画質の設定を行うと、次に、絞り設定を行う（Ｓ５）。ここでは、必要なる被写界深度やボケの状態を確認し、絞り（レンズ２内に設けられている）の絞り値を算出し、この絞り値となるように絞りの制御を行う。

ステップＳ５において絞り設定を行うと、次に、１フレーム当たりで撮像を繰り返す分割数の検出を行う（Ｓ７）。ここでは、分割フレーム数検出部１９が、画像データに基づいて、画素データが飽和しないレベルとなる分割数を検出する。具体的には、画素データが飽和レベル以下となるまで、分割数を増加させる。したがって、ステップＳ３において設定されたフレームレートで取得した画像データの画素データのレベルが飽和レベル以下であれば、分割数の増加は行わず、また飽和レベルを超えていれば、レベル判定部１７によって飽和レベルを超えないと判定されるまで、分割数を増加させる。なお、画素データが大きすぎる場合には、絞り値を変更する。また、分割数が１で、画素データが小さい場合には絞りを開くように制御する。記録開始前は絞り値を変更してもよいが、記録が始まると動画像の品位が劣化するので、絞り値の変更はできるだけ行わないようにする。

ステップＳ７においてフレームの分割数の検出を行うと、次に、１フレームを分割する必要があるか否かを判定する（Ｓ９）。ここでは、ステップＳ７におけるフレームの分割数の検出結果に基づいて判定する。すなわち、検出結果が１以下であったならば、１フレームを分割する必要はないと判定する。

ステップＳ９における判定の結果、フレーム分割が必要の場合には、フレームの分割の設定を行う（Ｓ１１）。ここでは、ステップＳ７において検出された分割数で１フレームを分割するための分割数の設定を行う。

一方、ステップＳ９における判定の結果、フレームの分割が必要ない場合には、設定フレームを固定する（Ｓ１３）。ここでは、ステップＳ３において設定されたフレームレートのままとする。なお、画像データのゲインが不足している場合には、ゲイン印加部１５がゲインを印加する。

ステップＳ１１またはＳ１３においてフレームの分割または固定を行うと、次に、記録開始か否かを判定する（Ｓ１５）。撮影者が動画の撮影を開始する場合には、動画釦（またはレリーズ釦）を操作するので、ここでは、入力ＩＦ３８からの動画釦（またはレリーズ釦）の操作状態を表す信号に基づいて判定する。この判定の結果、記録開始でない場合には、ステップＳ７に戻り、前述のライブビュー表示等の処理を繰り返す。

一方、ステップＳ１５における判定の結果、記録開始の場合には、次に、「記録」を行う（Ｓ１７）。ここでは、イメージセンサ４は、電子シャッタによって１フレームを分割した期間と同等の露光時間の間、露光を行い、露光後、イメージセンサ４から画像データを読み出す。そして、読み出された複数の画像データに対して、画像処理部１０が動画記録用の画像処理を施し、外部メモリ３６に画像ファイルの記録を行う。この画像処理にあたっては、画素データのレベルに応じて１フレームを分割した複数の各画像の画素ごとに加算平均し画像合成して合成画像を生成する画像処理を施す。１フレームの分割露光については、図３を用いて後述し、加算平均による画像合成については、図４を用いて後述する。

ステップＳ１７において「記録」の処理を行うと、次に、記録終了か否かを判定する（Ｓ１９）。撮影者が動画の撮影を終了する場合には、動画釦（またはレリーズ釦）を再度操作するので、ここでは、入力ＩＦ３８からの動画釦（またはレリーズ釦）の操作状態を表す信号に基づいて判定する。この判定の結果、記録終了でない場合には、ステップＳ１７に戻り、前述の「記録」の処理を繰り返す。また、ステップＳ１７で分割撮影処理をスタートさせてもよい。

一方、ステップＳ１９における判定の結果、記録終了の場合には、このフローを終了し、電源をオフとする。

このように、本実施形態におけるフローにおいては、画像データが飽和してしまう場合には、１フレームを複数の分割されたフレームに分割し（図２のＳ７、Ｓ９、Ｓ１１参照）、動画の画素データが飽和しなくなる周期としている。そして、この周期で露光した分割されたフレームからの画像データを画像合成して１フレームの画像データを取得している（図２のＳ１７参照）。このため、各フレーム画像が連続的に繋がって再生することができる。すなわち、１フレームの周期で決まる露光時間で画像データを取得すると、画素データが飽和してしまう場合に、１フレームを分割し、分割されたフレームで取得した画像データを用いて１フレーム分の画像を合成しているので、１フレームの周期で決まる全露光時間で被写体を撮影していることから、撮影に切れ目がなく、従って、動画の各フレーム画像を連続的に繋げることができる。

次に、図３を用いて、１フレームを分割した場合の分割されたフレームの露光時間（露光周期）について説明する。この露光周期は、ステップＳ１１において設定され、またステップＳ１７の記録の際に実行される。図３に示す例は、１フレームが１／３０ｓｅｃの場合である。画像データを構成する画素データが飽和している場合には、２分割、４分割、８分割、１６分割と、分割数を増加させ、画素データが飽和しない分割数を決める（図２のＳ７参照）。

例えば、今、分割数が２の場合には、フレームレートに応じた露光時間（図３の例では、１／３０ｓｅｃ）の１／２の露光時間（図３の例では、１／６０ｓｅｃ）で分割されたフレームの１枚目の画像データを取得し（時刻ｔ０〜ｔ８）、さらに続けて１／２の露光時間（時刻ｔ８〜ｔ１６）で分割フレームの２枚目の画像データを取得する。分割数が２の場合には、２枚の分割されたフレームの画像データを取得することができる。

同様に、分割数が１６の場合には、最初に１／１６の露光時間（ｔ０〜ｔ１）で分割されたフレームの１枚の画像データを取得し、以後、１／１６の露光時間で、ｔ１〜ｔ２、ｔ２〜ｔ３、・・・・、ｔ１５〜ｔ１６で、それぞれ２枚目〜１６枚目の画像データを取得する。

また、図３に示すように、分割数が２の場合にはＥＶレベルで１段落ちであり（−６ｄＢに対応）、分割数が４の場合には２段落ちであり（−１２ｄＢ）、分割数が８の場合には３段落ちであり（−１８ｄＢ）、分割数が１６の場合には４段落ちに相当する（−２４ｄＢ）。なお、露光時間はイメージセンサ４内の電子シャッタによって制御される。

このように、本実施形態においては、画像データの内の画素データが飽和しない程度になるように、１フレームの露光時間（第１の周期）を、複数の短い露光時間（第２の周期）に分割している。なお、図３においては、１フレームの露光時間が１／３０ｓｅｃであったが、これに限らず、短くても長くてもよい。また、分割数は、２〜１６分割の例を示したが、これよりも多くてもよい。

次に、図４を用いて、ステップＳ１７において行う画像合成について説明する。本実施形態においては、前述したように、画像合成として平均加算合成を行う。平均加算合成では、分割露光によって飽和しない程度に撮像し、加算分のマイナスゲインを印加することにより、設定したシャッタ速度で飽和しない合成画像を生成する。

本実施形態では図４に示すようにイメージセンサ４の出力が飽和しないように分割されたフレームごとの露光（図４に示す例では２分割露光）によって複数枚の画像を取得し、この取得した複数毎の画像を合成し、加算に相当する分を下げるためにマイナスゲインを印加することで画像を取得している。これによってＮＤフィルタを挿入したものと同様に、白飛びが発生せずに、出力の低下した画像を得ることができる。

すなわち、図４のａ〜ｃは、１回目の分割露光時の被写体輝度、イメージセンサ入力、イメージセンサ出力を示し、ａ’〜ｃ’は、２回目の分割露光時の被写体輝度、イメージセンサ入力、イメージセンサ出力を示す。２分割露光では、各分割露光時間が、１／２になることから、イメージセンサ出力も１／２となり、センサ出力が飽和レベルＧＣＬでクリップされることがない（図４のｃおよびｃ’参照）。

１回目の分割露光が終わると画像データを読み出して一時記憶しておき、２回目の分割露光が終わると画像データを読み出し、合成処理部１４は読み出された２回分の画像データの加算合成を行う（図４のｄ参照）。加算合成を行うと、次に、加算合成した画像データにマイナスゲイン（ここでは、１／２）を印加（乗算演算処理）する。このマイナスゲインの印加された最終画像出力のＲ／Ｇ／Ｂの比率は、被写体のＲ／Ｇ／Ｂの比率と同じである（図４のｆ参照）。図４のｆの破線四角で示した部分は、元の画像と同様に再現される。

合成処理部１４が、図４に示すような加算平均による画像合成を行う。合成処理部１４は、複数の画像データの輝度情報を平均化処理した後に画像合成する画像合成部として機能する。

図４に示した加算平均による画像合成の例では、１フレームの露光時間で取得した画素データが飽和してしまうような場合であっても、複数の分割されたフレームによって取得した画像データを合成することにより、各画素データが飽和することなく、画像に白とびが発生することがない。しかし、複数の分割されたフレームによって取得した画像データを、分割されたフレーム毎に記憶しておく必要があるため、図７、図８に示した比較明合成または比較暗合成を行う場合に比較し、画像データ記憶用のメモリ容量が多くなってしまう。なお、図４に示す例では、１フレームを２分割していたが、これに限らず、４分割、８分割等、分割数は適宜変更することができる。

次に、図５を用いて、１フレームを分割した場合のフレームの露光時間（露出周期）の第１の変形例について説明する。図３に示した例では、分割数が２のべき乗であることから、全ての分割されたフレームを合せると、１フレームにぴったり一致していた。この図５に示す第１の変形例では、分割数が２のべき乗でない場合や、クロックの都合で１フレームにぴったり合わない場合を示す。

図５に示す例では、分割数として、２のべき乗にあたらない、３分割、６分割が用いられている。また、１フレーム期間は、時刻ｔ０〜ｔ３０であるが、分割されたフレームの露光期間を合せても、時刻ｔ０〜ｔ２９までであり、時刻ｔ２９〜ｔ３０は露光されない期間となっている。時刻ｔ２９〜ｔ３０は露光されないことから、動画を再生する際に、この期間の画像がなくなるが、しかし、この期間は短時間であることから、動画として違和感を感じることはない。逆に、露光されない期間は、動画として違和感を感じない程度の短時間にすればよい。

次に、図６を用いて、１フレームを分割した場合のフレームの露光時間（露出周期）の第２の変形例について説明する。図３および図５に示した例では、それぞれ分割されたフレームの全時間において、露光が行われている。例えば、図３において、分割数が１６の場合には、時刻ｔ０〜ｔ１、ｔ１〜ｔ２、ｔ２〜ｔ３、・・・の各時間において露光がなされている。また図５において、分割数が６の場合には、時刻ｔ０〜ｔ２１、ｔ２１〜ｔ２３、ｔ２３〜ｔ２５、・・・の各時間において露光がなされている。

これに対して、図６に示すフレームの露光時間の第２の変形例においては、それぞれ分割されたフレームの一部の時間において露光が行われ、全時間において露光を行っていない。例えば、図６において、分割数が８で露光時間が１／３６０ｓｅｃの場合には、時刻ｔ０〜ｔ３１において露光し、時刻ｔ３１〜ｔ３２は露光を行わず、時刻ｔ３２〜ｔ３３において露光し、時刻ｔ３３〜ｔ３４において露光を行わず、・・・、時刻ｔ４４〜ｔ４５において露光し、時刻ｔ４５〜ｔ４６において露光を行わない。

このようにフレームの露光時間の第２の変形例においては、１フレームの分割されたフレームの全時間で露光を行っていない。各フレームにおいて、露光されない時間があることから、動画画像を再生する際にぱらぱら漫画のような不自然さが生ずる可能性があるが、未露光の時間が短いことから、悪影響は殆どない。また、本変形例においては、露光時間の調節の自由度が高まり、被写体輝度に応じて適正露光を得ることが容易となる。

次に、図７、図８に示すフローチャートと図９を用いて、ステップＳ１７の「記録」時の動作の変形例について説明する。この変形例では、スレッシュレベルを決めて、画像合成として比較明合成と比較暗合成を行う。「記録」のフローに入ると、まず、画素位置を表すｎ＝１とする（Ｓ２１）。ここで、画素位置ｎは画像データを構成する画素データの順番を表す。例えば、図９（ａ）の４ａの画素位置をｎ＝１とする。画素データには、画素位置ｎに１から最終画素まで付してあり、ステップＳ２２において行う画素レベルＫの検出は、ステップＳ２２〜Ｓ３５を繰り返し行うことによって、全画素データについて行われる。

ステップＳ２１において、画素位置を表すｎ＝１とすると、次に、画素位置ｎ番目の画素レベルＫを判定する（Ｓ２２）。ここでは、分割されたフレームの１枚目の画像データをイメージセンサ４から入力し、画像データを構成する画素位置ｎ番目の画素の画素データの画素レベルＫを検出する。

ステップＳ２２において、画素位置ｎ番目の画素レベルＫを検出すると、次に、レベルＫが基準値Ｌより大きいか否かを判定する（Ｓ２３）。この判定は、ステップＳ２２において検出した画素位置ｎ番目の画素データの画素レベルＫと、基準値Ｌを比較することにより行う（図９（ｄ）、図９（ｅ）参照）。本実施形態においては、画素レベルＫが基準値Ｌより大きい場合には比較明合成を行い、画素レベルＫが基準値Ｌより小さい場合には比較暗合成を行い、画素レベルＫが基準値Ｌと同じ場合には、読み出された画素レベルのままとする。なお、基準値Ｌは、動画記録前の画像データに基づいて算出する。画像全体が明るい場合は基準値Ｌは高く、暗い場合は基準値Ｌは低く設定するのがよい。１画素ごとにメモリ３３に記憶する。ステップＳ２５の処理でメモリ３３は、イメージセンサ４から読み出された画素レベルＫで初期化される。

ステップＳ２３における判定の結果、画素レベルＫが基準値Ｌより大きいと判定された画素位置では合成方法として比較明合成を設定する（Ｓ２５）。ここでは、後述するステップＳ４７における合成方法として、画素位置ｎ番目の画素データに対して、比較明合成を行うことを設定しておく。複数の分割されたフレームの中で、一番先に読み出された分割されたフレームの場合には、ｎ番目の画素データはそのまま一時記憶される。２番目以降の分割されたフレームが読み出された場合には（後述するステップＳ５１参照）、前回、メモリ３３に記憶された画素位置ｎ番目の画素データと、今回イメージセンサ４から読み出された画素位置ｎ番目の画素データを比較し、明るい方の画素データに置き換える（この処理は、後述するステップＳ４７で行われる）。従って、比較明合成を行うことにより、明るい方の画素データに更新され、動く被写体（輝点）を撮影している場合には、輝点の軌跡を示す画像となる。

ステップＳ２３における判定の結果、画素レベルＫが基準値Ｌより大きくないと判定された画素位置ｎ番目では、次に、画素レベルＫが基準値Ｌより小さいか否かを判定する（Ｓ２７）。この判定は、ステップＳ２２において検出した画素位置ｎ番目の画素データの画素レベルＫと、基準値Ｌを比較することにより行う（図９（ｅ）参照）。

ステップＳ２７における判定の結果、画素レベルＫが基準値Ｌより小さいと判定された画素位置ｎ番目では比較暗合成を行う（Ｓ２９）。ここでは、後述するステップＳ４７における合成方法として、画素位置ｎ番目の画素データに対して、比較暗合成を行うことを設定しておく。複数の分割されたフレームの中で、一番先に読み出された分割フレームの場合には、画素位置ｎ番目の画素データはそのまま一時記憶される。２番目以降の分割されたフレームが読み出された場合には（後述するステップＳ５１参照）、前回、記憶された画素位置ｎ番目の画素データと、今回読み出された画素位置ｎ番目の画素データを比較し、暗い方の画素データに置き換える（この処理は、後述するステップＳ４７で行われる）。従って、比較暗合成を行うことにより、暗い方の画素データに更新され、暗い部分の動きがよく見える画像となる。ステップＳ２９の処理でメモリ３３は、イメージセンサ４から読み出された画像レベルＫで初期化される。

ステップＳ２７における判定の結果、画素レベルＫが基準値Ｌより小さくないと判定された画素位置ｎ番目では、画素レベルＬを記憶する（Ｓ３１）。ここでは画素レベルＫが基準値Ｌと等しい場合である。このステップでは、後述するステップＳ４７における合成方法として、画素位置ｎ番目の画素データに対して、基準値Ｌとすることを設定しておく。複数ある分割されたフレームの中で、一番先に読み出された分割されたフレームの場合には、画素位置ｎ番目の画素データはそのまま一時記憶される。２番目以降の分割されたフレームが読み出された場合も、その画素位置では（後述するステップＳ５１参照）、画素位置ｎ番目の画素データを基準値Ｌに保持される（この処理は、後述するステップＳ４７で行われる）。ステップＳ３１の処理でメモリ３３は、イメージセンサ４から読み出された画素レベルＫで初期化される。

ステップＳ２５、Ｓ２９、Ｓ３１において、画素位置ごとによる画像合成方法の決定と、メモリ３３の初期化を行うと、次に、画素位置ｎ＝最終画素か否かの判定を行う（Ｓ３３）。次のステップＳ３５において、画素位置を示すｎを加算しており、このステップＳ３３では、ステップＳ２２において読み出した画素位置ｎ番目の画素データが最終画素か否かを判定する。

ステップＳ３３における判定の結果、画素位置ｎが最終画素でない場合には、ｎ＝ｎ＋１を行う（Ｓ３５）。ここでは、画素番号を示すｎに１を加算する。これは図９（ａ）のｘ方向に１つ進む、もしくはｘ方向が最終の場合には元に戻ってｙ方向の１つ進むことを意味する。画素位置ｎに１を加算すると、ステップＳ２２に戻り、次の画素位置の画素データを読み出して、ステップＳ２２〜Ｓ３１の処理を行う。

ステップＳ３３における判定の結果、画素位置ｎが最終画素の場合には、ステップＳ４１に進み、メモリ３３に記憶された初期値と、２枚目以降の分割されたフレームの画像データと、画像合成を行う。まず、全ての分割された画像は完了したか否かの判定を行う（Ｓ４１）。ステップＳ７において、分割されたフレームの数（分割数）が検出されているので、この分割数のフレームについて画像データの読出しが終了しているか否かを判定する。

ステップＳ４１における判定の結果、全ての分割された画像について完了していない場合には、次に、ステップＳ２１と同様に、次の分割されたフレームにおける画素位置ｎ＝１とする（Ｓ４３）。前述したように、画素位置ｎは画像データを構成する画素データの順番を表す。

ステップＳ４３において、画素位置ｎ＝１とすると、次に、イメージセンサ４から読み出された画素位置ｎ番目の画素レベルＫを判定する（Ｓ４５）。ここでは、分割されたフレームの画像データを構成する画素位置ｎ番目の画素の画素データの画素レベルＫを検出する。

ステップＳ４５において、Ｋ＝ｎの画素レベルを検出すると、画素位置ごとに決定された合成方法に応じた合成を行う（Ｓ４７）。すなわち、ステップ２５、Ｓ２９、Ｓ３１において、画素位置毎に画像合成の合成方法が設定されているので、このステップでは、画素に応じて設定されている合成方法に従って、比較明合成、比較暗合成等の画像合成が行われる。

ステップＳ４７において、合成方法に応じた合成を行うと、次に、ステップＳ３３と同様に、画素位置ｎが最終画素か否かを判定する（Ｓ４９）。後述するステップＳ５１において、画素位置を示すｎを加算しており、このステップＳ４９では、ステップＳ５１において読み出した画素位置ｎ番目の画素データが最終画素か否かを判定する。

ステップＳ４９における判定の結果、画素位置ｎが最終画素でない場合には、ステップＳ３５と同様に、ｎ＝ｎ＋１を行う（Ｓ５１）。ここでは、画素位置を示すｎに１を加算する。ｎに１を加算すると、ステップＳ４５に戻り、次の画素位置の画素データを読み出して、ステップＳ４５〜Ｓ４９の処理を行う。この処理を繰り返すことにより、分割されたフレームの画像データについて画素毎に、比較明合成等の画像合成が施される。

一方、ステップＳ４９における判定の結果、画素位置ｎが最終画素の場合には、ステップＳ４１に戻り、全ての分割されたフレームの画像データについて画像合成が完了していない場合には、ステップＳ４３以下において、次の分割されたフレームの画像データを用いて、画像合成を行う。

ステップＳ４１における判定の結果、全ての分割されたフレームの画像データについて画像合成が完了した場合には、1フレーム画像の記録を行う（Ｓ５３）。ステップＳ２１〜Ｓ５３を実行することにより、分割数分の分割されたフレーム画像を用いて画像合成が行われ、１フレームの画像が合成されたことから、この合成された1フレーム分の画像データを記録する。記録画像を表示部３７に表示する場合には、さらに、表示部３７に表示するための処理を行う。なお、採用している動画の画像データ記録方式に従い、動画記録ファイルを生成し、外部メモリ３６に記録する。1フレームの画像記録を行うと、元のフローに戻る。

このように、本発明の一実施形態の変形例においては、画素レベルＫが基準値Ｌより大きい場合には明合成を行い、小さい場合には暗合成を行っている。このため、移動している明るい被写体は目につき易く、この明るい被写体の動きが明合成することにより、動画で滑らかな動きとなる。一方、暗い被写体は移動していても目につき難く、背景に埋もれ易いことから、暗合成することにより、背景が動くことなく見やすい画像となる。

なお、本実施形態において、複数の分割されたフレームの画像を合成する画像合成は、画素レベルＫと基準値Ｌとの大小関係で比較明合成と比較暗合成を切り替えたが、これに限らず、画像合成は、比較明合成のみでもよく、比較暗合成のみでもよく、加算平均合成でもよく、比較動合成でもよい。

また、本実施形態において、１画素ごとに画素レベルを判定して合成方法を決定していたが、２×２、３×３、４×４のように複数画素ごとにグループ化して、複数画素の加算平均値、２乗平均値、分布の中央値、最大値、最小値を求めるような統計処理を施して合成処理を行なっても良い。この場合には記憶するメモリ領域の縮小化を図ることができる。

次に、図９を用いて、本変形例における画像合成について説明する。図９（ａ）は、イメージセンサ４の撮像面を有しており、撮像面に配置された各画素について比較明合成または比較暗合成を行う。画素４ａは、イメージセンサ４の撮像面のｘ方向およびｙ方向に２次元的に配置されている。比較明合成または比較暗合成を行う場合には、画素４ａを、ｘ方向に１画素毎に移動させ、１ライン分移動させると、ｙ方向に１画素毎に移動させ、全画素について比較明合成または比較暗合成を行う。

図９（ｂ）〜（ｅ）を用いて、比較明合成と比較暗合成における画像合成の方法を示す。なお、図９（ｂ）〜（ｆ）は、分割数として４の例を示す。図９（ｂ）〜（ｆ）において、横方向に沿って、分割されたフレームの１枚目〜４枚目と合成画像における画素４ａの画素データの値を示す（縦方向が値）。

比較明合成は、各画素において、一番明るい画素の画素データで画像を合成する合成方法であって、図９（ｂ）に示す例では、２枚目の画素データが一番大きい（一番明るい）ことから、合成画像としては、２枚目の画素データが採用されている。

比較暗合成は、各画素において、一番暗い画素の画素データで画像を合成する合成方法であって、図９（ｃ）に示す例では、３枚目の画素データが一番小さい（一番暗い）ことから、合成画像としては、３枚目の画素データが採用されている。

図９（ｄ）（ｅ）は、スレッシュを決めている場合の例を示し、画素データがスレッシュ（基準値Ｌ）よりも大きい場合には、比較明合成を行い、スレッシュ（基準値Ｌ）よりも小さい場合には比較暗合成を行う。すなわち、図９（ｄ）において、１枚目、２枚目、３枚目の画素データはスレッシュ（基準値Ｌ）よりも大きいことから比較明合成によって合成画像を生成する。一方、図９（ｅ）において、１枚目〜４枚目はスレッシュ（基準値Ｌ）よりも小さいことから比較暗合成によって合成画像を生成する。

このように、スレッシュ（基準値Ｌ）と画素データを比較し、この比較結果に応じて、比較明合成と比較暗合成を切り替えて合成画像を生成することができる。この場合には、画素データの大小に応じて、適切な合成方法を選択することができる。

図９（ｆ）に示す例は、画像合成の変形例であり、ここに示す例は、比較動合成である。比較動合成は、画素データが変化している場合に、合成画像の画素データとして採用する合成方法である。なお、比較動合成は、画面全体が移動している場合には、画素単位で移動しているか否かを判定できないので、パンニング撮影時には、使用しない。

図９（ｆ）の例で説明すると、２枚目の分割されたフレームの画素データを取得すると、１枚目と２枚目の画素データを用いて、比較対象している画素において、被写体が移動しているか否かを判定する。図９（ｆ）の場合には、１枚目と２枚目の画素データが変化していることから、比較対象の画素において被写体が移動していると判定される。３枚目、４枚目の画素データは、１枚目の画素データと同じであることから、３枚目、４枚目では比較対象の画素において被写体は移動していないと判定される。これらの判定結果から、２枚目の画素データは被写体が移動している際のデータであることから、合成画像の画素データとしては、２枚目の画素データの値を採用する。

このように、比較動合成は、１フレームを分割し、複数の分割されたフレームの画像データから合成画像を生成する際に、移動している画素の画素データを採用していることから、被写体が移動している感じの動画を生成することができる。

以上説明したように、本発明の一実施形態や変形例においては、画像データが飽和しなくなるようにフレームの期間を分割し（図２のＳ７、Ｓ９、Ｓ１１、図３、図５、図６等参照）、分割されたフレームによって取得された複数の画像データを画像合成し、１フレームの画像としている。また、このときのシャッタ速度は、電子シャッタによって、分割されたフレームの露光期間と同じになるようにしている。このため、動画記録の際に、各フレーム画像が連続的に繋がって再生可能な動画とすることができる。また、分割されたフレーム１枚分のメモリ領域を使用して合成できるので、大容量のメモリを搭載する必要がない。

なお、本発明の一実施形態や変形例においては、レベル判定部１７、分割フレーム数検出部１９を、マイクロコンピュータ１２１とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、マイクロコンピュータ１２１によって実行するようにしても勿論かまわない。

また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、動画の撮影のための機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・撮像部、２・・・レンズ、４・・・イメージセンサ、４ａ・・・画素、１０・・・画像処理部、１４・・・合成処理部、１５・・・ゲイン印加部、１６・・・現像処理部、１７・・・レベル判定部、１９・・・分割フレーム数検出部、２０・・・システム制御部、３１・・・バス、３３・・・内部メモリ、３６・・・外部メモリ、３７・・・表示部、３８・・・入力ＩＦ、３９・・・マイク

Claims (9)

1. 動画記録を行う撮像装置において、
   撮像素子を有し、指示された周期で繰り返し撮像を行い、動画像データを出力する撮像部と、
   上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求める分割周期演算部と、
   上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像部に指示する切換指示部と、
   上記第１の周期内に上記第２の周期で撮像した複数の画像データを画像合成して、合成画像を生成する画像合成部と、
   上記切換指示部が上記撮像部に上記第１の周期を指示して撮像した画像データに対しては上記画像合成部での画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データを、上記複数の画像データの輝度レベルが所定のスレッシュレベル以上の場合には比較明合成によって、一方、輝度レベルが所定のスレッシュレベル未満の場合には比較暗合成によって上記画像合成部で合成画像を生成し、動画像を得るように制御する制御部と、
   を備えることを特徴とする撮像装置。
2. 上記スレッシュレベルは、動画記録前の画像データに基づいて算出されることを特徴とする請求項１に記載の撮像装置。
3. 動画記録を行う撮像装置において、
   撮像素子を有し、指示された周期で繰り返し撮像を行い、動画像データを出力する撮像部と、
   上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求める分割周期演算部と、
   上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像部に指示する切換指示部と、
   上記第１の周期内に上記第２の周期で撮像した複数の画像データを画像合成して、合成画像を生成する画像合成部と、
   上記第１の周期内に上記第２の周期で撮像した複数の画像データを画像合成して、合成画像を生成する画像合成部と、
   上記切換指示部が上記撮像部に上記第１の周期を指示して撮像した画像データに対しては上記画像合成部での画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データを上記画像合成部で比較動合成によって画像合成を生成する、
   ことを特徴とする撮像装置。
4. 上記第２の周期は、上記撮像部からの動画像データが飽和しなくなる周期であることを特徴とする請求項１又は３に記載の撮像装置。
5. 上記第２の周期は、上記撮像部からの動画像データを露光するシャッタ速度に相当することを特徴とする請求項１又は３に記載の撮像装置。
6. 動画記録を行う撮像方法において、
   撮像素子を有する撮像部に指示した周期で繰り返し撮像を行い、動画像データを出力し、
   上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求め、
   上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像の切換指示を行い、
   上記撮像部に上記第１の周期を指示して撮像した画像データに対しては画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データの合成画像を、上記複数の画像データの輝度レベルが所定のスレッシュレベル以上の場合には比較明合成により、一方、輝度レベルが所定のスレッシュレベル未満の場合には比較暗合成により生成し、動画像を得るように制御する、
   ことを特徴とする撮像方法。
7. 動画記録を行う撮像方法において、
   撮像素子を有する撮像部に指示した周期で繰り返し撮像を行い、動画像データを出力し、
   上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求め、
   上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像の切換指示を行い、
   上記撮像部に上記第１の周期を指示して撮像した画像データに対しては画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データの合成画像を比較動合成により生成し、動画像を得るように制御する、
   ことを特徴とする撮像方法。
8. 動画記録を行う撮像装置におけるコンピュータを実行させるためのプログラムにおいて、
   撮像素子を有する撮像部に指示した周期で繰り返し撮像を行い、動画像データを出力し、
   上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求め、
   上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像の切換指示を行い、
   上記撮像部に上記第１の周期を指示して撮像した画像データに対しては画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データの合成画像を、上記複数の画像データの輝度レベルが所定のスレッシュレベル以上の場合には比較明合成により、一方、輝度レベルが所定のスレッシュレベル未満の場合には比較暗合成により生成し、動画像を得るように制御する、
   ことを上記コンピュータに実行させることを特徴とするプログラム。
9. 動画記録を行う撮像装置におけるコンピュータを実行させるためのプログラムにおいて、
   撮像素子を有する撮像部に指示した周期で繰り返し撮像を行い、動画像データを出力し、
   上記撮像素子の画素データが飽和しなくなる露光時間であって、かつ第１の周期より短い第２の周期を求め、
   上記第１の周期で撮像した画素データが飽和する場合には上記第１の周期から上記第２の周期に切り換えるように、上記第１の周期と上記第２の周期を選択的に切り換えて、上記撮像の切換指示を行い、
   上記撮像部に上記第１の周期を指示して撮像した画像データに対しては画像合成を行わず、一方、上記第２の周期を指示して撮像した画像データに対しては、上記第１の周期内に得られた複数の画像データの合成画像を比較動合成により生成し、動画像を得るように制御する、
   ことを上記コンピュータに実行させることを特徴とするプログラム。

Images