JP5045785B2 - 撮像装置 - Google Patents

Description

本発明は、動画像撮影中に静止画像を撮影する撮像装置に関するものである。

動画撮影記録中に静止画撮影記録の指示がなされると、動画撮影記録処理を中断し、静止画撮影記録処理の間に欠落する動画像フレーム（欠落フレーム）の数のカウントを開始し、撮像素子からの撮像信号に基づき生成された静止画像データをメモリカードへ格納した後、静止画像データから擬似的な動画像フレーム（擬似フレーム）を生成し、生成した擬似フレームを、中断されている動画の動画像データに追記し、動画像撮影記録処理を再開させ、カウントされた欠落フレームに疑似フレームが当てはまるように、オフセット調整を行う撮像装置が提案されている（例えば、特許文献１参照）。

特開２００７−１５９０８８号公報

ところで、上述の特許文献１記載の撮像装置では、１つの静止画像データから１つの擬似的な動画像フレーム（擬似フレーム）を生成し、この擬似フレームを、静止画像撮影記録処理の間に欠落した複数のフレームのそれぞれに当てはめていた。また、他の従来の撮像装置では、静止画像撮影記録処理を開始する直前の動画像フレームを、欠落した複数のフレームのそれぞれに当てはめていた。したがって、これら動画像が再生されたとき、欠落した複数のフレームに該当する部分の被写体の動きがぎこちなく停止する場合があった。

また、静止画像撮影記録処理中の被写体の動きに基づいて擬似フレームを生成することもできたが、動画像撮影後に擬似フレームの生成処理を行う必要があり、かつ多数のフレーム画像を記憶しておくための大容量のメモリ等を備える必要があった。

本発明の目的は、動画像撮影中に静止画像を撮影した後、動画像撮影を再開した後に、静止画像撮影中に欠落したフレーム画像を動画像撮影中に容易に精度よく生成可能な撮像装置を提供することである。

本発明は以下のような解決手段により上記課題を解決する。なお、理解を容易にするために、本発明の実施の形態に対応する符号を付して説明するが、本発明はこれに限定されるものではない。

本発明の撮像装置は、被写体からの光を撮像する撮像素子（６）と、前記撮像素子（６）からの撮像信号に基づいて、動画像ファイルを形成する複数のフレーム画像の画像処理を行う第１画像処理部（８）と、前記被写体の静止画像の撮影を指示する指示部（１４）と、動画像撮影中に前記指示部（１４）により前記静止画像の撮影の指示がなされた場合に、前記撮像素子（６）からの撮像信号に基づいて前記静止画像の画像処理を行い、前記静止画像の撮影後に前記動画像撮影が再開された際に、前記指示部（１４）により前記静止画像の撮影の指示がなされてから前記動画像撮影が再開されるまでの間の前記フレーム画像である補間フレーム画像を生成する第２画像処理部（１０）と、前記第１画像処理部（８）により画像処理された前記複数のフレーム画像、及び前記第２画像処理部（１０）により生成された前記補間フレーム画像に基づいて、前記動画像ファイルを生成する動画像ファイル生成部（４）とを備え、前記第１画像処理部（８）における前記画像処理と並行して、前記第２画像処理部（１０）において前記補間フレーム画像を生成する処理を実行することを特徴とする。

本発明の撮像装置によれば、動画像撮影中に静止画像を撮影した後、動画像撮影を再開した後に、静止画像撮影中に欠落したフレーム画像を動画像撮影中に容易に精度よく生成することができる。

実施の形態に係る電子カメラのシステム構成を示すブロック図である。 実施の形態に係る電子カメラにおいて動画像を撮影する際の処理について説明するためのフローチャートである。 実施の形態に係る電子カメラにおいて動画像及び静止画像を撮影する際の処理について説明するためのタイムチャートである。 実施の形態に係る電子カメラにおいて動画像撮影中に静止画像撮影の指示がなされた際の処理について説明するためのフローチャートである。 実施の形態に係る電子カメラにおいて動画像撮影中に静止画像を撮影する際の処理について説明するためのフローチャートである。 実施の形態に係る電子カメラにおいて補間フレーム画像を生成するために必要な処理について説明するためのフローチャートである。 実施の形態に係る電子カメラにおいて補間フレーム画像を生成するために必要な処理について説明するためのフローチャートである。 実施の形態に係る電子カメラにおいて補間フレームを生成する際の処理について説明するためのフローチャートである。 第１画像処理部により生成されるフレーム画像、第２画像処理部により生成される静止画像及び補間フレーム画像、並びに動画像ファイルを形成するフレーム画像を示す図である。

以下、図面を参照して、本発明の実施の形態に係る撮像装置としての電子カメラについて説明する。図１は、この実施の形態に係る電子カメラ２のシステム構成を示すブロック図である。図１に示すように、電子カメラ２は、マイクロプロセッサ等により構成され、電子カメラ２の各部を統括的に制御する制御部４を備えており、制御部４には、撮像素子６、第１画像処理部８、第２画像処理部１０、記録媒体１２、操作部１４、第１カウンター１６、及び第２カウンター１８が接続されている。撮像素子６は、ＣＣＤまたはＣＭＯＳ等により構成され、図示しない撮影レンズを介した被写体からの光を撮像し、制御部４は、撮像素子６から出力され、図示しないＡ／Ｄ変換部等を介すことによりアナログ信号からデジタル信号に変換された撮像信号に基づく画像データを取得する。

第１画像処理部８及び第２画像処理部１０は、撮像素子６からの撮像信号に基づく画像データに基づいて、動画像ファイルを形成する複数のフレーム画像の画像処理、静止画像の画像処理、及び補間フレーム画像（後述する）の生成処理を行う。また、第１画像処理部８は第１通信制御部２０を備えており、第１通信制御部２０は、第１画像処理部８により画像処理された画像等を後述する第２通信制御部２２を介して第２画像処理部１０に対して送信し、第２画像処理部１０より第２通信制御部２２を介して送信される画像（第２画像処理部１０により画像処理された画像）等を受信する。同様に、第２画像処理部１０は第２通信制御部２２を備えており、第２通信制御部２２は、第２画像処理部１０により画像処理された画像等を第１通信制御部２０を介して第１画像処理部８に対して送信し、第１画像処理部８により第１通信制御部２０を介して送信される画像等を受信する。

記録媒体１２は、電子カメラ２に設けられたカードスロット（図示せず）に着脱可能に装着される可搬性を有する記録媒体であり、記録媒体１２には、静止画像及び動画像の画像ファイルが記録されている。操作部１４は、電源をオン／オフする電源スイッチ、静止画像の撮影等を指示するためのレリーズボタン、動画像の記録開始や記録終了を指示するための録画ボタン、撮影モードを選択するためのモードボタン等を備えて構成されている。第１カウンター１６は、動画像撮影中に静止画像の撮影の指示がなされてから静止画像生成のための撮像信号が撮像素子６から読み出されるまでの間の、動画像ファイルを構成するフレーム画像の数をカウントする。また、第２カウンター１８は、動画像撮影中に静止画像生成のための撮像信号が撮像素子６から読み出されてから動画像の撮影を再開するまでの間の、動画像ファイルを構成するフレーム画像の数をカウントする。

この実施の形態に係る電子カメラ２においては、動画像を撮影する際、第１画像処理部８（または第２画像処理部１０）により動画像ファイルを形成するフレーム画像の画像処理を行う。そして、動画像撮影中にレリーズボタンが押下されると、動画像の撮影、即ち第１画像処理部８（または第２画像処理部１０）によるフレーム画像の画像処理を中止し、静止画像の撮影、即ち第２画像処理部１０（または第１画像処理部８）により静止画像の画像処理を行う。そして、静止画像撮影を終えると、動画像撮影を再開する。このとき、第１画像処理部８（または第２画像処理部１０）において動画像を形成するフレーム画像の動画像処理を再開し、第１画像処理部８による動画像処理再開と同時に、第２画像処理部１０（または第１画像処理部８）においてレリーズボタンが押下されてから動画像撮影が再開されるまでの間の動画像のフレーム画像である補間フレーム画像の生成処理を開始する。以下、図２に示すフローチャート及び図３に示すタイムチャートを参照して、この実施の形態に係る電子カメラ２において動画像を撮影する際の処理について説明する。

まず、制御部４は、例えばユーザーにより録画ボタンが押下される等、動画像の撮影開始の指示がなされると（ステップＳ１０）、第１カウンター１６のカウント値ｉ及び第２カウンター１８のカウント値ｊをリセット（ｉ＝０，ｊ＝０）する（ステップＳ１１）。

次に、制御部４は、図３に示すように、動画像サイクル（例えば、３０ｆｐｓや６０ｆｐｓ等）に同期して撮像素子６から出力される撮像信号に基づく画像データを取得する（ステップＳ１２）。なお、動画像ファイルを形成するフレーム画像用の画像データであるため、撮像素子６からは全画素でなく画素が間引きされて読み出される。

ステップＳ１２において取得した画像データの動画像処理を第１画像処理部８において実行する（ステップＳ１３）。即ち、第１画像処理部８は、制御部４からの指示に従い、撮像素子６からの撮像信号に基づく画像データから、動画像を形成する複数のフレーム画像のうちの１のフレーム画像を生成する動画像処理を実行する。そして、制御部４は、ステップＳ１３において第１画像処理部８により動画像処理されたフレーム画像を、第１画像処理部８内のバッファメモリ（図示せず）等に一時的に格納する。

次に、制御部４は、第１カウンター１６からカウント値ｉ及び第２カウンター１８からカウント値ｊを取得し、各カウント値ｉ，ｊが０であるか否かを判別する（ステップＳ１４）。ステップＳ１４において各カウント値ｉ，ｊが０であると判別された場合には（ステップＳ１４、Ｙｅｓ）、制御部４は、記録媒体１２に、バッファメモリに一時的に格納されているフレーム画像を記録する（ステップＳ１５）。

具体的には、記録媒体１２に設けられた動画像ファイル内の所定のアドレス番号（動画像ファイルを形成する各フレーム画像を順に記録するために必要な番号）のアドレス（動画像ファイルを形成する各フレーム画像を順に記録するための記録領域）内に、バッファメモリに格納されたフレーム画像を記録する。例えば、動画像ファイルを形成する１番目のフレーム画像を、１番目のフレーム画像のデータ容量に応じて生成されたアドレス番号１のアドレスに、２番目のフレーム画像を、２番目のフレーム画像のデータ容量に応じて生成されたアドレス番号２のアドレスに、図３に示すｎ番目（ｎは自然数）のフレーム画像ａを、ｎ番目のフレーム画像のデータ容量に応じて生成されたアドレス番号ｎのアドレスに、図３に示す（ｎ＋１）番目のフレーム画像ｂを、（ｎ＋１）番目のフレーム画像のデータ容量に応じて生成されたアドレス（ｎ＋１）のアドレスに順次記録する。

次に、制御部４は、例えばユーザーにより録画ボタンが押下される等、動画像の撮影終了の指示がなされたか否かを判別する（ステップＳ１６）。ステップＳ１６において動画像の撮影終了の指示がなされていないと判別された場合には（ステップＳ１６、Ｎｏ）、制御部４は、ステップＳ１２の処理に戻り、ステップＳ１６において動画像の撮影終了の指示がなされたと判別されるまで、ステップＳ１２〜Ｓ１６の処理を繰り返す。即ち、制御部４は、ステップＳ１２において撮像素子から動画像サイクルに同期して出力される撮像信号に基づく画像データを順次取得し、取得した画像データをステップＳ１３において第１画像処理部８にて順次動画像処理させることによりフレーム画像（例えば図３に示すフレーム画像ａ，ｂ，ｃ…）を順次生成し、生成したフレーム画像ａ，ｂ，ｃ…をステップＳ１５において記録媒体１２に順次記録する。

一方、ステップＳ１２〜Ｓ１６の処理を繰り返している際に、ユーザーにより静止画像の撮影の指示がなされた場合には、制御部４は、ステップＳ１２〜Ｓ１６の処理を中止し、静止画像の撮影を行う。以下、図４に示すフローチャートを参照して、この実施の形態に係る電子カメラ２において、動画像撮影中に静止画像を撮影する際の処理について説明する。

まず、制御部４は、図２に示すステップＳ１２〜Ｓ１６の処理を実行しているときに、ユーザーによりレリーズボタンが押下されると（ステップＳ２０、Ｙｅｓ）、ユーザーにより静止画像の撮影開始の指示がなされたと判断し、図２に示すステップＳ１３において第１画像処理部８による動画像処理中であるか否かを判別する（ステップＳ２１）。即ち、第１画像処理部８が、撮像素子６からの撮像信号に基づく画像データからフレーム画像の生成開始後であり、かつ生成終了前であるか否かを判別する。

ステップＳ２１において第１画像処理部８による動画像処理中であると判別された場合には（ステップＳ２１、Ｙｅｓ）、制御部４は、第１画像処理部８による動画像処理を中止し、かつ第１画像処理部８による動画像処理により生成途中だったフレーム画像を削除する（ステップＳ２２）。例えば、図３に示す時間ｔ_１にユーザーによりレリーズボタンが押下されると、制御部４は、第１画像処理部８によるフレーム画像ｄの動画像処理を中止し、フレーム画像ｄを削除する。そして、制御部４は、レリーズボタンが押下されてから撮像素子６により出力される撮像信号に基づく画像データを取得するまでの間の、中止された動画像処理が中止されなければ生成されたであろうフレーム画像の数をカウントするための第１カウンター１６のカウント値ｉを１に設定する（ステップＳ２３）。即ち、生成途中だったフレーム画像ｄをカウント値ｉに追加する。一方、ステップＳ２１において第１画像処理部８による動画像処理中でないと判別された場合（ステップＳ２１、Ｎｏ）、例えば図３に示す時間ｔ_０にユーザーによりレリーズボタンが押下された場合には、制御部４は、生成途中であって削除する必要のあるフレーム画像が存在しないため、ステップＳ２２及びＳ２３の処理を行うことなく、次の処理に進む。

次に、制御部４は、静止画像を撮影するための処理（ステップＳ２４）、及び静止画像撮影を終了し、動画像撮影を再開させた際に、静止画像撮影中に欠落したフレーム画像を補間する補間フレーム画像を生成するために必要な処理（ステップＳ２５）を並行して実行する。まず、図５に示すフローチャートを参照して、静止画像を撮影するための処理（図４に示すステップＳ２４）について説明する。

まず、制御部４は、静止画像撮影のための準備（フォーカシングや露出等）を終えた後（例えば図３に示す時間ｔ_３）に、撮像素子６から出力される撮像信号に基づく静止画像用の画像データを取得し（ステップＳ３０）、取得した静止画像用の画像データを第２画像処理部１０内のバッファメモリ（図示せず）等に一時的に格納する。なお、静止画像用の画像データであるため、撮像素子６からは全画素で読み出される。次に、制御部４は、ステップＳ３０において取得した静止画像用の画像データの静止画像処理を第２画像処理部１０において実行する（ステップＳ３１）。即ち、第２画像処理部１０は、制御部４からの指示に従い、撮像素子６からの撮像信号に基づく画像データから、静止画像ｅ（図３参照）を生成する静止画像処理を実行する。次に、制御部４は、ステップＳ３１において第２画像処理部１０により静止画像処理された静止画像ｅを記録媒体１２に記録させる（ステップＳ３２）。

次に、図６に示すフローチャートを参照して、補間フレーム画像を生成するために必要な処理（図４に示すステップＳ２５）について説明する。

まず、制御部４は、撮像素子６からの撮像信号に基づく静止画像用の画像データを取得したか否か、即ち図５に示すステップＳ３０の処理が実行されたか否かを判別する（ステップＳ４０）。ステップＳ４０において静止画像用の画像データを取得していないと判別された場合（ステップＳ４０、Ｎｏ）、制御部４は、次の動画像サイクルを取得したか否かを判別する（ステップＳ４１）。ステップＳ４１において次の動画像サイクルを取得したと判別された場合には（ステップＳ４１、Ｙｅｓ、例えば図３に示す時間ｔ_２）、制御部４は、第１カウンター１６のカウント値ｉに１を追加（ｉ＝ｉ＋１）する（ステップＳ４２）。即ち、レリーズボタンが押下されてから撮像素子６により出力される撮像信号に基づく画像データを取得するまでの間の、中止された動画像処理が中止されなければ生成されたであろうフレーム画像の数を第１カウンター１６を用いてカウントしているため、カウント値ｉに１を追加する。

また、ステップＳ４１において次の動画像サイクルを取得していないと判別された場合（ステップＳ４１、Ｎｏ）、またはステップＳ４２においてカウント値ｉに１を追加する処理が行われた後には、制御部４は、ステップＳ４０の処理に戻る。そして、ステップＳ４０において静止画像用の画像データを取得したと判別されるまで、即ち図５に示すステップＳ３０の処理が実行されるまで、制御部４は、ステップＳ４０〜Ｓ４２の処理を繰り返す。

そして、ステップＳ４０において、静止画像撮影のための準備を終え、撮像素子６からの撮像信号に基づく静止画像用の画像データを取得したと判別された場合（ステップＳ４０、Ｙｅｓ、例えば図３に示す時間ｔ_３）、即ち図５に示すステップＳ３０の処理が実行されたと判別された場合には、制御部４は、第２画像処理部１０による静止画像処理、即ち図５に示すステップＳ３１の処理が終了したか否かを判別する（ステップＳ４３）。

ステップＳ４３において第２画像処理部１０による静止画像処理、即ち図５に示すステップＳ３１の処理が終了していないと判別された場合には（ステップＳ４３、Ｎｏ）、制御部４は、次の動画像サイクルを取得したか否かを判別する（ステップＳ４４）。ステップＳ４４において次の動画像サイクルを取得したと判別された場合には（ステップＳ４４、Ｙｅｓ、例えば図３に示す時間ｔ_４）、制御部４は、第２カウンター１８のカウント値ｊに１を追加（ｊ＝ｊ＋１）する（ステップＳ４５）。即ち、撮像素子６により出力される撮像信号に基づく静止画像用の画像データを取得してから第２画像処理部１０による静止画像処理が終了するまでの間の、中止された動画像処理が中止されなければ生成されたであろうフレーム画像の数を第２カウンター１８を用いてカウントしているため、カウント値ｊに１を追加する。

また、ステップＳ４４において次の動画像サイクルを取得していないと判別された場合（ステップＳ４４、Ｎｏ）、またはステップＳ４５においてカウント値ｊに１を追加する処理が行われた後には、制御部４は、ステップＳ４３の処理に戻る。そして、ステップＳ４３において第２画像処理部１０による静止画像処理、即ち図５に示すステップＳ３１の処理が終了したと判別されるまで、制御部４は、ステップＳ４３〜Ｓ４５の処理を繰り返す。

そして、ステップＳ４３において第２画像処理部１０による静止画像処理、即ち図５に示すステップＳ３１の処理が終了したと判別された場合には（ステップＳ４３、Ｙｅｓ）、制御部４は、次の動画像サイクルを取得するまで待機し（ステップＳ４６、Ｎｏ）、次の動画像サイクルを取得すると（ステップＳ４６、Ｙｅｓ）、図２に示すステップＳ１２の処理に戻り、中止されていた動画像撮影を再開する。

即ち、制御部４は、動画像サイクルに同期して撮像素子６から出力される撮像信号に基づく画像データを取得し（ステップＳ１２）、ステップＳ１２において取得した画像データから、フレーム画像ｆ（図３参照）を生成する動画像処理を第１画像処理部８において実行する（ステップＳ１３）。そして、制御部４は、第１カウンター１６及び第２カウンター１８のカウント値ｉ，ｊが０であるか否かを判別する（ステップＳ１４）。各カウント値ｉ，ｊが０である場合には（ステップＳ１４、Ｙｅｓ）、制御部４は、図４に示すステップＳ２４（図５に示すステップＳ３０〜Ｓ３２）の静止画像を撮影するための処理が行われていないと判断し、各カウント値ｉ，ｊが０でない場合には（ステップＳ１４、Ｎｏ）、制御部４は、図４に示すステップＳ２４（図５に示すステップＳ３０〜Ｓ３２）の静止画像を撮影するための処理が行われたと判断する。

したがって、この場合においては、静止画像ｅ（図３参照）が撮影された後であって、図６に示すステップＳ４２及びＳ４５において各カウント値ｉ，ｊに１追加する処理が少なくとも１回実行されているため、制御部４は、各カウント値ｉ，ｊが０でないと判別し（ステップＳ１４、Ｎｏ）、補間フレーム画像を生成するための処理を実行する（ステップＳ１７）。ここで、補間フレーム画像は、静止画像撮影中に欠落したフレーム画像、即ちレリーズボタンが押下されてから（静止画像ｅの撮影の指示がなされてから）動画像の撮影が再開されるまでの間の、静止画像ｅの撮影中に中止された動画像処理が中止されなければ生成されたであろうフレーム画像を擬似的に生成したものである。

この実施の形態では、第１画像処理部８における動画像処理と並行して、第２画像処理部１０において補間フレーム画像を生成する処理を実行する。なお、第１画像処理部８では、動画像処理と並行して、第２画像処理部１０において補間フレーム画像を生成するために必要な情報等を第２画像処理部１０に送信する処理が実行される。まず、図７に示すフローチャートを参照して、第１画像処理部８における動画像処理と並行して、第２画像処理部１０において補間フレーム画像を生成するために必要な情報等を第１画像処理部８から第２画像処理部１０に対して送信する際の処理について説明する。

まず、制御部４は、レリーズボタンが押下された時点ｔ_１の直前に第１画像処理部８により動画像処理され、第１画像処理部８内のバッファメモリに一時的に格納されているフレーム画像（以下、前フレーム画像という。図３に示すフレーム画像ｃ）を、第１通信制御部２０及び第２通信制御部２２を介して、第２画像処理部１０に対して送信する（ステップＳ５０）。同様に、制御部４は、静止画像ｅ（図３参照）の撮影のための処理を終えた時点ｔ_５（図３参照）、即ち動画像処理が再開された時点の直後に第１画像処理部８により動画像処理され、第１画像処理部８内のバッファメモリに一時的に格納されているフレーム画像（以下、後フレーム画像という。図３に示すフレーム画像ｆ）を、第１通信制御部２０及び第２通信制御部２２を介して、第２画像処理部１０に対して送信する（ステップＳ５１）。

次に、制御部４は、前フレーム画像ｃのアドレス番号を記録媒体１２から取得する（ステップＳ５２）。次に、制御部４は、第１カウンター１６からカウント値ｉ及び第２カウンター１８からカウント値ｊを取得し（ステップＳ５３）、ステップＳ５３において取得したカウント値ｉ，ｊに基づいてアドレス番号のオフセットを実行する（ステップＳ５４）。即ち、カウント値ｉ，ｊの合計した値（ｉ＋ｊ）は、静止画像ｅの撮影中に中止された動画像処理が中止されなければ生成されたであろうフレーム画像の枚数を示しているため、前フレーム画像ｃのアドレス番号に（ｉ＋ｊ＋１）を追加したアドレス番号のアドレスに、後フレーム画像ｆが記録されるように、アドレス番号のオフセットを実行する。なお、前フレーム画像ｃのアドレス番号と、後フレーム画像ｆのアドレス番号との間の（ｉ＋ｊ）個分のアドレス番号のアドレスには、後に生成される補間フレーム画像が記録される。

次に、制御部４は、ステップＳ５４の処理を終えた後、図２に示すステップＳ１５の処理に戻る。即ち、ステップＳ５４においてオフセットされたアドレス番号（前フレーム画像ｃのアドレス番号に（ｉ＋ｊ＋１）を追加したアドレス番号）のアドレス内に、フレーム画像ｆを記録する（ステップＳ１５）。

次に、図８に示すフローチャートを参照して、第１画像処理部８における動画像処理と並行して、第２画像処理部１０において補間フレーム画像を生成する際の処理について説明する。

まず、制御部４は、図７に示すステップＳ５０において第１画像処理部８から第２画像処理部１０に対して送信された前フレーム画像ｃを、第２画像処理部１０が受信しているか否かを確認する（ステップＳ６０）。同様に、図７に示すステップＳ５１において第１画像処理部８から第２画像処理部１０に対して送信された後フレーム画像ｆを、第２画像処理部１０が受信しているか否かを確認する（ステップＳ６１）。

次に、制御部４は、図５に示すステップＳ３０において取得し、第２画像処理部１０内のバッファメモリ等に一時的に格納されている静止画像ｅ用の画像データの動画像処理を第１画像処理部８において実行する（ステップＳ６２）。即ち、第１画像処理部８は、制御部４からの指示に従い、静止画像ｅ用の画像データから、動画像用のフレーム画像（以下、静止画像ｅに基づくフレーム画像という。）を生成する動画像処理を実行する。

次に、制御部４は、第１カウンター１６よりカウント値ｉを取得し（ステップＳ６３）、ステップＳ６０において第２画像処理部１０が受信した前フレーム画像ｃ及びステップＳ６２において生成された静止画像ｅに基づくフレーム画像に基づいて、ｉ枚の補間フレーム画像を生成する処理を実行する（ステップＳ６４）。このｉ枚の補間フレーム画像は、レリーズボタンが押下された時点ｔ_１から撮像素子６により出力される撮像信号に基づく静止画像ｅの画像データを取得するまでの間の、中止された動画像処理が中止されなければ生成されたであろうｉ枚のフレーム画像である。

例えば図３に示す場合には、第１カウンター１６のカウント値ｉ＝２であるため、第２画像処理部１０は、２枚の補間フレーム画像ｇ，ｈを生成する。補間フレーム画像ｇ，ｈは、例えば特開２００６−９４０５８号公報等に開示されている周知の補間フレーム画像生成機能を用いて、前フレーム画像ｃ及び静止画像ｅに基づくフレーム画像から求められる被写体の動きベクトルに基づいて生成される。図３に示す場合においては、前フレーム画像ｃの次のフレーム画像である補間フレーム画像ｇは、前フレーム画像ｃ及び静止画像ｅに基づくフレーム画像から求められる被写体の動きベクトルに基づいて被写体の動きが滑らかになるように生成される。また、補間フレーム画像ｇの次のフレーム画像である補間フレーム画像ｈは、中止された動画像処理が中止されなければ補間フレーム画像ｈの相当するフレーム画像の画像データが読み出されたであろう時間と、静止画像ｅが撮影された時間とが略同一であることから、静止画像ｅに基づくフレーム画像と同一のフレーム画像として生成される。

次に、制御部４は、第２カウンター１８よりカウント値ｊを取得し（ステップＳ６５）、ステップＳ６１において第２画像処理部１０が受信した後フレーム画像ｆ及びステップＳ６３において生成された静止画像ｅに基づくフレーム画像に基づいて、ｊ枚の補間フレーム画像を生成する処理を実行する（ステップＳ６６）。このｊ枚の補間フレーム画像は、撮像素子６により出力される撮像信号に基づく静止画像ｅ用の画像データを取得してから第２画像処理部１０による静止画像処理が終了するまでの間の、中止された動画像処理が中止されなければ生成されたであろうｊ枚のフレーム画像である。

例えば図３に示す場合には、第２カウンター１８のカウント値ｊ＝２であるため、第２画像処理部１０は、２枚の補間フレーム画像ｋ，ｍを生成する。補間フレーム画像ｋ，ｍも、上述の補間フレーム画像ｇ，ｈと同様に生成される。例えば、補間フレーム画像ｈの次のフレーム画像である補間フレーム画像ｋは、静止画像ｅに基づくフレーム画像及び後フレーム画像ｆから求められる被写体の動きベクトルに基づき、後フレーム画像ｆ内の被写体の位置より静止画像ｅに基づくフレーム画像内の被写体の位置に重み付けされ、生成される。また、補間フレーム画像ｋの次のフレーム画像である補間フレーム画像ｍは、静止画像ｅに基づくフレーム画像及び後フレーム画像ｆから求められる被写体の動きベクトルに基づき、静止画像ｅに基づくフレーム画像内の被写体の位置より後フレーム画像ｆ内の被写体の位置に重み付けされ、生成される。即ち、動く被写体が存在する場合には、ステップＳ６４及びＳ６６において、画像内の被写体の位置がそれぞれ異なる補間フレーム画像ｇ，ｈ，ｋ，ｍが生成される。

次に、制御部４は、第１カウンター１６のカウント値ｉ及び第２カウンター１８のカウント値ｊをリセット、即ち０とし（ステップＳ６７）、図２に示すステップＳ１５の処理に進む。即ち、制御部４は、記録媒体１２に、図８に示すステップＳ６４及びＳ６６において第２画像処理部１０により生成された補間フレーム画像ｇ，ｈ，ｋ，ｍを記録する（ステップＳ１５）。具体的には、前フレーム画像ｃのアドレス番号を記録媒体１２から取得し、前フレーム画像ｃのアドレス番号（例えば、ｎ＋２）の次のアドレス番号（例えば、ｎ＋３）のアドレス内に、補間フレーム画像ｇを記録する。同様に、次のアドレス番号（例えば、ｎ＋４）のアドレス内に補間フレーム画像ｈ、次のアドレス番号（例えば、ｎ＋５）のアドレス内に補間フレーム画像ｋ、次のアドレス番号（例えば、ｎ＋６）のアドレス内に補間フレーム画像ｍを順次記録する。

そして、制御部４は、ステップＳ１６において動画像の撮影終了の指示がなされたと判別されるまで上述の処理、例えば図３に示す第１画像処理部８によるフレーム画像ｐ〜ｓの生成及び記録処理を繰り返す。そして、ステップＳ１６において動画像の撮影終了の指示がなされたと判別された場合には（ステップＳ１６、Ｙｅｓ）、動画像の撮影、即ち、第１画像処理部８により動画像処理されたフレーム画像…ａ〜ｃ，ｆ，ｐ〜ｓ…、及び第２画像処理部１０により生成された補間フレーム画像ｇ，ｈ，ｋ，ｍにより形成される動画像ファイルの生成及び記録を終了する。

このように、図２〜図８のフローチャートに示す処理を実行することにより、例えば、図９（ａ）に示すように、まず、第１画像処理部８において動画像ファイルを形成するフレーム画像…ａ〜ｃが生成され、静止画像の撮影の指示がなされると、図９（ｂ）に示すように、第２画像処理部１０において静止画像ｅが生成される。そして、静止画像撮影の処理が終了すると、図９（ａ）に示すように、第１画像処理部８において動画像ファイルを形成するフレーム画像ｆ，ｐ〜ｓ…が順次生成され、それと並行して、図９（ｂ）に示すように、第２画像処理部１０において補間フレーム画像ｇ，ｈ，ｋ，ｍ（第２画像処理部１０において静止画像ｅが生成されている間Ｔに欠落したフレーム画像）が生成される。そして、図９（ｃ）に示すように、各フレーム画像…ａ〜ｃ，ｆ，ｐ〜ｓ…及び各補間フレーム画像ｇ，ｈ，ｋ，ｍを、所定のアドレス番号のアドレス内に順序良く格納することにより、動画像ファイルＦが生成され、記録媒体１２に記録される。

この実施の形態に係る電子カメラ２によれば、画像データの画像処理を行う画像処理部を２つ備えているため、動画像撮影中に静止画像を撮影した後、動画像撮影を再開した後に、静止画像撮影中に欠落したフレーム画像である補間フレーム画像を動画像撮影中に容易に精度よく生成することができる。例えば、従来、２つの画像処理部を備えた電子カメラにおいて、一方の画像処理部により奇数フレーム画像、他方の画像処理部により偶数フレーム画像の画像処理を行う等して、高速連写を実現していた。即ち、このような２つの画像処理部を備えた電子カメラを用いて、一方の画像処理部により動画像処理を実行している間に、他方の画像処理部により補間フレーム画像の生成処理を実行することにより、動画像撮影中に静止画像を撮影した場合であっても、リアルタイムに動画像ファイルを生成することができる。また、静止画像撮影前後に生成されたフレーム画像及び静止画像に基づくフレーム画像に基づいて補間フレーム画像を生成するため、補間フレーム画像を含む動画像を再生する際、補間フレーム画像に該当する部分の被写体の動きが不自然に停止することなく、滑らかに動く動画像を再生することができる。

なお、上述の実施の形態においては、２つのカウンター１６，１８を用いて、静止画像の撮影の指示がなされてから撮像素子６から静止画像用の撮像信号を取得するまでの間のフレーム画像の数、及び撮像素子６から静止画像用の撮像信号を取得してから動画像の撮影を再開するまでの間のフレーム画像の数をカウントしているが、１つのカウンターを用いて、これらフレーム画像の数をカウントする構成にしてもよい。この場合には、１つのカウンターを用いて、まず、静止画像の撮影の指示がなされてから撮像素子６から静止画像用の撮像信号を取得するまでの間のフレーム画像の数をカウントし、このカウント結果（上述の実施の形態では、カウント値ｉ）をバッファメモリ（図示せず）等に格納し、動画像の撮影を再開するまでフレーム画像のカウントを継続する。そして、得られたカウント結果（上述の実施の形態では、カウント値ｉ＋ｊ）から、バッファメモリ等に格納されたカウント結果（カウント値ｉ）を引くことにより、撮像素子６から静止画像用の撮像信号を取得してから動画像の撮影を再開するまでの間のフレーム画像の数（上述の実施の形態では、カウント値ｊ）を算出する。なお、静止画像の撮影の指示がなされてから撮像素子６から静止画像用の撮像信号を取得するまでの間のフレーム画像の数は、バッファメモリ等に格納されるカウント結果（カウント値ｉ）である。

また、上述の実施の形態においては、静止画像ｅが単写である場合を例に挙げて説明したが、動画像撮影中に撮影される静止画像が連続撮影された複数の連写画像である場合においても本発明を適用することができる。この場合には、連写画像のそれぞれに基づくフレーム画像を生成し（図８に示すステップＳ６２）、連写画像に基づくフレーム画像のそれぞれ、前フレーム画像及び後フレーム画像に基づいて、補間フレーム画像を生成する。例えば、前フレーム画像及び最初の連写画像に基づくフレーム画像に基づいて、その間の補間フレーム画像を生成し、２番目と３番目、３番目と４番目…の連写画像に基づくフレーム画像に基づいて、その間の補間フレーム画像を順次生成し、最後の連写画像に基づくフレーム画像及び後フレーム画像に基づいて、その間の補間フレーム画像を生成する。

また、上述の実施の形態においては、静止画像ｅの撮影の指示がなされた時点の直前のフレーム画像ｃ、及び動画像撮影が再開された時点の直後のフレーム画像ｆに基づいて、補間フレーム画像を生成しているが、フレーム画像ｃに代えて、または追加して静止画像ｅの撮影の指示がなされた時点より前のフレーム画像（例えば、図３に示すフレーム画像ｂ等）、及びフレーム画像ｆに代えて、または追加して動画像撮影が再開された時点以降のフレーム画像（例えば、図３に示すフレーム画像ｐ等）に基づいて、補間フレーム画像を生成する構成にすることもできる。

２…電子カメラ、４…制御部、６…撮像素子、８…第１画像処理部、１０…第２画像処理部、１２…記録媒体、１４…操作部、１６…第１カウンター、１８…第２カウンター、２０…第１通信制御部、２２…第２通信制御部。

Claims (7)

1. 被写体からの光を撮像する撮像素子と、
   前記撮像素子からの撮像信号に基づいて、動画像ファイルを形成する複数のフレーム画像の画像処理を行う第１画像処理部と、
   前記被写体の静止画像の撮影を指示する指示部と、
   動画像撮影中に前記指示部により前記静止画像の撮影の指示がなされた場合に、前記撮像素子からの撮像信号に基づいて前記静止画像の画像処理を行い、前記静止画像の撮影後に前記動画像撮影が再開された際に、前記指示部により前記静止画像の撮影の指示がなされてから前記動画像撮影が再開されるまでの間の前記フレーム画像である補間フレーム画像を生成する第２画像処理部と、
   前記第１画像処理部により画像処理された前記複数のフレーム画像、及び前記第２画像処理部により生成された前記補間フレーム画像に基づいて、前記動画像ファイルを生成する動画像ファイル生成部と、
   を備え、
   前記第１画像処理部における前記画像処理と並行して、前記第２画像処理部において前記補間フレーム画像を生成する処理を実行することを特徴とする撮像装置。
2. 前記指示部により前記静止画像の撮影の指示がなされると、前記第１画像処理部は、前記フレーム画像の画像処理を中止し、
   前記静止画像の撮影が終了すると、前記第１画像処理部は、前記フレーム画像の画像処理を再開し、前記第２画像処理部は、前記第１画像処理部による画像処理再開と同時に、前記補間フレーム画像の生成を開始することを特徴とする請求項１記載の撮像装置。
3. 前記第１画像処理部は、前記フレーム画像を前記第２画像処理部に対して送信する送信部を備え、
   前記第２画像処理部は、前記送信部から送信される前記フレーム画像を受信する受信部を備え、
   前記送信部は、前記指示部により前記静止画像の撮影の指示がなされた時点より前に前記第１画像処理部により画像処理された前記フレーム画像である前フレーム画像と、前記静止画像撮影後に前記動画像撮影が再開された時点以降に前記第１画像処理部により画像処理された前記フレーム画像である後フレーム画像とを、前記第２画像処理部に対して送信し、
   前記受信部は、前記送信部により送信された前記前フレーム画像及び前記後フレーム画像を受信し、
   前記第２画像処理部は、前記静止画像に基づくフレーム画像を生成し、且つ前記受信部により受信した前記前フレーム画像、前記生成した前記静止画像に基づくフレーム画像、及び受信部により受信した前記後フレーム画像のうちの少なくとも二つのフレーム画像に基づいて、前記補間フレーム画像を生成することを特徴とする請求項１または請求項２記載の撮像装置。
4. 前記前フレーム画像は、前記指示部により前記静止画像の撮影の指示がなされた時点の直前に前記第１画像処理部により画像処理されたフレーム画像であり、
   前記後フレーム画像は、前記動画像撮影が再開された時点の直後に前記第１画像処理部により画像処理されたフレーム画像であることを特徴とする請求項３に記載の撮像装置。
5. 前記指示部により前記静止画像の撮影の指示がなされてから前記第２画像処理部が前記撮像素子から撮像信号を取得するまでの間の、前記フレーム画像の数を検出する第１検出部と、
   前記第２画像処理部が前記撮像素子から撮像信号を取得してから前記動画像の撮影を再開するまでの間の、前記フレーム画像の数を検出する第２検出部と、を備え、
   前記第２画像処理部は、前記第１及び第２検出部による検出結果に基づいて、前記補間フレーム画像を生成することを特徴とする請求項１〜請求項４の何れか一項に記載の撮像装置。
6. 前記第２画像処理部は、前記前フレーム画像及び前記静止画像に基づくフレーム画像に基づいて、前記第１検出部により検出された数の前記補間フレーム画像を生成し、前記静止画像に基づくフレーム画像及び前記後フレーム画像に基づいて、前記第２検出部により検出された数の前記補間フレーム画像を生成することを特徴とする請求項５記載の撮像装置。
7. 前記静止画像は、連続撮影された複数の連写画像を含み、
   前記第２画像処理部は、前記連写画像のそれぞれに基づくフレーム画像を生成することを特徴とする請求項３〜請求項６の何れか一項に記載の撮像装置。

Images