JP6470594B2 - 撮像装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、及びプログラムに関する。

デジタルカメラ等の撮像装置の中には、魚眼レンズで撮影したような効果、画像の上下をぼかしたジオラマ風効果、画像を適度にぼかしたソフトフォーカス効果などの特殊効果を画像処理により付加した静止画を撮影する機能を有するものがある。また、このような特殊効果を画像処理により付加した動画を撮影する機能を有する撮像装置が提案されている（特許文献１）。

また、動画撮影では動く被写体を撮影することが多いため、レリーズスイッチによる動画撮影開始指示を受けてから撮影を開始すると、意図した瞬間を撮り逃してしまう可能性がある。このような意図した瞬間の撮り逃しがないよう、動画撮影開始指示前の所定時間（以下、「プリＲＥＣ期間」とも呼ぶ）の動画も記録する、いわゆるプリＲＥＣ可能なカメラ装置が提案されている（特許文献２）。

特開２００６−３４００７０号公報 特開２００６−８０８０９号公報

動画の記録期間の開始時に、動画に付加する特殊効果が決まっていない場合がある。例えば、被写体に適した特殊効果を決定するために、被写体が安定していないフレーミング中ではなく、動画撮影開始指示のタイミングで動画に付加する特殊効果を決定することが考えられる。このような決定タイミングとプリＲＥＣとを組み合わせた場合、プリＲＥＣ期間は、動画は記録されるが、特殊効果は決まっていない。従って、プリＲＥＣ期間に撮影された動画については、少なくともリアルタイムで特殊効果を付加することはできない。しかしながら、従来は、撮影された動画の一部に対してリアルタイムで特殊効果を付加できない状況を考慮した特段の提案は存在しなかった。

本発明はこのような状況に鑑みてなされたものであり、撮影された動画の一部に対してリアルタイムで特殊効果を付加できない状況に適応した動画処理技術を提供することを目的とする。

上記課題を解決するために、本発明は、動画を撮影する撮影手段と、第１の期間に前記撮影手段で撮影された第１の動画、及び前記第１の期間に続く第２の期間に前記撮影手段で撮影された第２の動画に、特殊効果を付加する画像処理手段と、前記第１の期間に、前記特殊効果が付加される前の前記第１の動画を表示し、前記第２の期間に、前記特殊効果が付加された前記第２の動画を表示する表示手段と、前記特殊効果が付加された、前記第１の動画及び前記第２の動画を記録する記録手段と、前記画像処理手段により付加する前記特殊効果を決定する決定手段と、を備え、前記決定手段は、記録開始指示に応えて前記特殊効果を決定することを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、撮影された動画の一部に対してリアルタイムで特殊効果を付加できない状況に適応した動画処理を行うことが可能となる。

撮像装置１０の外観図。 撮像装置１０の機能ブロック図。 第１の実施形態に係る動画撮影処理の概要を示す図。 第１の実施形態に係る、撮像装置１０による動画撮影処理のフローチャート。 第２の実施形態に係る動画撮影処理の概要を示す図。 第２の実施形態に係る、撮像装置１０による動画撮影処理のフローチャート。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１０の外観図であり、図２は、撮像装置１０の機能ブロック図である。コネクタ１１２は、接続ケーブルと撮像装置１０とをつなぐ。記録媒体２０は、メモリカード、光ディスク、又はハードディスク等のランダムアクセス可能な記録媒体であり、撮像装置１０に対して着脱可能である。記録媒体スロット２０１は、記録媒体２０を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２０は、撮像装置１０との通信が可能となる。蓋２０３は、記録媒体スロット２０１の蓋である。

ＣＰＵ（中央演算装置）１１は、撮像装置１０の各機能ブロックや、機能ブロック間のデータフローなどを制御する。ＲＯＭ１２には、ＣＰＵ１１の処理手順に係るプログラム（ファームウェア）及び各種情報が格納されている。

表示部１３は、カラー液晶表示器等で構成され、画像を表示し、グラフィカルユーザインタフェースを表示するために用いられる。表示部１３は、ＴＶ等の外部表示装置に映像信号を出力する端子も備えている。

操作部１４は、ユーザからの指示を受け付ける、レリーズボタン及び動画記録開始ボタン等の各種ボタンや、十字キー、コントロールホイール、及びダイヤルスイッチなどからなる。

ＤＲＡＭ１５は、ＣＰＵ１１のワークエリアとして使用され、画像データや表示用データ、画像圧縮後のデータなどを一時記憶するバッファ機能を有する。通常は、ＤＲＡＭ１５との間にメモリーコントローラを介してデータの書き込みや読み出しを行うが、ここでは図示していない。また、図示しないが、各機能ブロックとＤＲＡＭ１５との間には、ＣＰＵ１１によるＲｅａｄ／Ｗｒｉｔｅを介さないＤＭＡ転送を行うための、ＤＭＡコントローラが備えられている。

記録媒体インタフェース（Ｉ／Ｆ）１６は、ＣＰＵ１１からの指示に従い、記録媒体２０に対する画像データの書き込み及び読み出しを行う。ＣＰＵ１１、ＤＲＡＭ１５、及び記録媒体Ｉ／Ｆ１６が、撮影画像である静止画及び動画を記録媒体２０に記録する記録手段として機能する。

撮像部１７は、レンズ、絞り、シャッタ、及びＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子からなる。

画像処理回路１８は、撮像部１７から読み出される画像データに対し、ホワイトバランス調整、画素補間等の処理を行い、ＹＵＶデータに変換する。また、画像処理回路１８は、画像データを任意のサイズにリサイズし、表示部１３に表示する表示用画像データや画像圧縮伸長回路１９で圧縮する圧縮用画像データを生成する。また、画像処理回路１８は、画像データに対して、色・階調変換効果、周辺光量上げ／下げ効果、及び残像効果などを付加するために、色・階調フィルタ処理、テンプレート画像合成処理、及び巡回フィルタ処理等の特殊効果処理を行う。

画像圧縮伸長回路１９は、ＹＵＶデータをＪＰＥＧ又はＨ．２６４形式の画像データに圧縮し、また、ＪＰＥＧ又はＨ．２６４形式の圧縮された画像データをＹＵＶデータに伸長する。

ＣＰＵ１１、ＲＯＭ１２、表示部１３、操作部１４、ＤＲＡＭ１５、記録媒体Ｉ／Ｆ１６、撮像部１７、画像処理回路１８、及び画像圧縮伸長回路１９は、内部バス３０を介して通信する。

次に、本実施形態の動画撮影処理について説明する。撮像装置１０は、動画を撮影し、色・階調変換効果、及び周辺光量上げ／下げ効果などの特殊な画像処理効果（特殊効果）を付加した動画を記録することができる。撮像装置１０は、動画に付加する特殊効果を、動画記録開始指示がなされたタイミングで決定する。

また、撮像装置１０は、ユーザが意図したタイミングの動画を確実に記録するために、動画記録開始指示直前の所定時間（プリＲＥＣ期間）に撮影された動画を、動画記録開始指示後に撮影された動画と合わせて記録することができる。この目的のため、撮像装置１０は、動画記録開始指示前の動画圧縮用データをバッファに記憶しておく。そして、撮像装置１０は、動画記録停止後にバッファから動画圧縮用データを読み出し、特殊効果を付加して記録する。このようにすることで、撮像装置１０は、動画記録開始指示のタイミングで被写体に適切な特殊効果を選択できると共に、プリＲＥＣ期間の動画にも特殊効果を付加して記録することができる。

図３を参照して、本実施形態の動画撮影処理の概要を説明する。図３（ａ）はライブビュー表示の様子を示し、図３（ｂ）はプリＲＥＣ用データバッファの様子を示し、図３（ｃ）は動画圧縮の様子を示し、図３（ｄ）は動画ファイルの様子を示す。図３において、斜線付きのフレームは特殊効果が付加されたフレームを示し、斜線無しのフレームは特殊効果が付加されていないフレームを示す。

図３（ａ）に示すように、動画記録開始指示３０１の発生前は、プリＲＥＣ期間以前に撮影された動画３０３、及びプリＲＥＣ期間（第１の期間）に撮影された動画３０４（第１の動画）のいずれについても、特殊効果が付加されていない。従って、動画記録開始指示３０１の発生前は、特殊効果が付加されていないライブビュー表示が行われる。動画記録開始指示３０１から動画記録停止指示３０２までの期間（第２の期間）に撮影された動画３０５（第２の動画）には、特殊効果が付加されている。従って、動画記録開始指示３０１から動画記録停止指示３０２までの期間は、特殊効果が付加されたライブビュー表示が行われる。

図３（ｂ）に示すように、プリＲＥＣ期間に撮影された動画は、プリＲＥＣ用データ３０６として、ＤＲＡＭ１５のプリＲＥＣ用データバッファに記憶される。動画記録開始指示３０１の発生前は、動画に付加する特殊効果が決定されておらず、プリＲＥＣ用データ３０６は特殊効果が付加されていない状態で記憶される。即ち、本実施形態では、プリＲＥＣ期間に撮影された、特殊効果が付加される前の動画が、揮発性の記録媒体（ＤＲＡＭ１５）に保持される。

動画記録開始指示３０１の発生時に、動画に付加する特殊効果が決定される。そのため、図３（ｃ）に示すように、動画記録開始指示３０１から動画記録停止指示３０２までの期間は、特殊効果が付加された記録用の圧縮動画３０７が生成される。また、動画記録停止指示３０２の発生後、プリＲＥＣ用データバッファに記憶されていたプリＲＥＣ用データ３０６から、特殊効果が付加された圧縮動画３０８が生成される。

図３（ｄ）に示すように、圧縮動画３０７及び圧縮動画３０８から動画ファイルが生成される。動画ファイルにおいて、プリＲＥＣ期間に対応する圧縮動画３０８は、動画ファイルの先頭（圧縮動画３０７の前）に結合される。本実施形態では、動画記録開始指示３０１の発生後に撮影された動画に対応する圧縮動画３０７が先に記録媒体２０（不揮発性の記録媒体）に記録され、その後、プリＲＥＣ期間に対応する圧縮動画３０８が記録媒体２０に記録される。

図３（ａ）及び図３（ｄ）から理解できるように、本実施形態の動画撮影処理によれば、プリＲＥＣ期間に撮影された動画については、ライブビュー表示の際には特殊効果が付加される前の動画が表示され、記録の際には特殊効果が付加された動画が記録される。また、動画記録開始指示３０１から動画記録停止指示３０２までの期間に撮影された動画については、ライブビュー表示の際にも、記録の際にも、特殊効果が付加された動画が用いられる。

図４は、第１の実施形態に係る、撮像装置１０による動画撮影処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、ＣＰＵ１１がＲＯＭ１２に格納されたプログラムを実行することにより実現される。操作部１４の操作により撮像装置１０の動作モードが動画撮影モードに設定されると、本フローチャートの処理が開始する。

Ｓ１０１で、ＣＰＵ１１は、撮像部１７により撮像される画像を動画フレームとしてキャプチャする。そして、ＣＰＵ１１は、画像処理回路１８を用いて、キャプチャされた動画フレームの画像データに対して、ホワイトバランス調整、画素補間等の処理を施し、ＹＵＶデータに変換し、ＤＲＡＭ１５に書き込む。

Ｓ１０２で、ＣＰＵ１１は、画像処理回路１８を用いて、表示用画像データサイズへのリサイズ処理等をＹＵＶデータに対して施し、表示部１３にライブビュー表示するための電子ファインダー表示用画像データを生成し、ＤＲＡＭ１５に書き込む。ここでは、電子ファインダー表示用画像データには、特殊効果は付加されていない。

Ｓ１０３で、ＣＰＵ１１は、表示部１３に電子ファインダー表示用画像データを表示させる。これにより、表示部１３のライブビュー表示画像が更新される。電子ファインダー表示用画像データには特殊効果が付加されていないため、ここでは、特殊効果が付加されていないライブビュー表示が行われる。

Ｓ１０４で、ＣＰＵ１１は、画像処理回路１８を用いて、プリＲＥＣ期間の動画として記録するための動画圧縮用データ（プリＲＥＣ用データ）を生成する。

Ｓ１０５で、ＣＰＵ１１は、Ｓ１０４において生成したプリＲＥＣ用データを、ＤＲＡＭ１５のプリＲＥＣ用データバッファに記憶する。この時点では、電子ファインダー表示用画像データと同様、プリＲＥＣ用データには特殊効果は付加されていない。プリＲＥＣ用データバッファには、少なくとも、直近の所定時間（プリＲＥＣ期間の長さに対応する時間）の動画に対応するデータが保持される。所定時間よりも古くなったデータは破棄されてもよい。

Ｓ１０６で、ＣＰＵ１１は、操作部１４の動画記録ボタンの操作により、動画記録開始指示がなされたかどうかを判定する。動画記録開始指示がなされてないと判定された場合、ＣＰＵ１１は、処理をＳ１０１に戻し、キャプチャされた次の動画フレームについて同様の処理を行う。動画記録開始指示がなされたと判定された場合、ＣＰＵ１１は、処理をＳ１０７に進める。

Ｓ１０７で、ＣＰＵ１１は、記録する動画に付加する特殊効果のパターンを決定し、ＤＲＡＭ１５に記憶する。具体的には、ＣＰＵ１１は、色・階調変換効果の有無、及び周辺光量上げ／下げ効果の有無を決定する。特殊効果のパターンは、撮像装置１０や被写体の動き、被写体が人物かどうか、被写界の明るさや色といった情報に基づき、ＣＰＵ１１が自動で決定する。ＣＰＵ１１は、決定した特殊効果のパターンを、ＤＲＡＭ１５に格納する。

Ｓ１０８で、ＣＰＵ１１は、撮像部１７により撮像される画像を動画フレームとしてキャプチャする。そして、ＣＰＵ１１は、画像処理回路１８を用いて、キャプチャされた動画フレームの画像データに対して、ホワイトバランス調整、画素補間等の処理を施し、ＹＵＶデータに変換し、ＤＲＡＭ１５に書き込む。

Ｓ１０９で、ＣＰＵ１１は、Ｓ１０７においてＤＲＡＭ１５に格納された特殊効果のパターンを参照して、色・階調変換効果の有無を判定する。色・階調変換効果がない場合、ＣＰＵ１１は、処理をＳ１１１に進める。色・階調変換効果がある場合、Ｓ１１０で、ＣＰＵ１１は、画像処理回路１８を用いて、ＹＵＶデータに色・階調フィルタ処理を施し、色・階調変換効果を付加する。

Ｓ１１１で、ＣＰＵ１１は、Ｓ１０７においてＤＲＡＭ１５に格納された特殊効果のパターンを参照して、周辺光量上げ／下げ効果の有無を判定する。周辺光量上げ／下げ効果がない場合、ＣＰＵ１１は、処理をＳ１１３に進める。周辺光量上げ／下げ効果がある場合、Ｓ１１２で、ＣＰＵ１１は、画像処理回路１８を用いて、ＹＵＶデータにテンプレート画像合成処理を施し、周辺光量上げ／下げ効果を付加する。

Ｓ１１３で、ＣＰＵ１１は、画像処理回路１８を用いて、表示用画像データサイズへのリサイズ処理等をＹＵＶデータに対して施し、表示部１３にライブビュー表示するための電子ファインダー表示用画像データを生成し、ＤＲＡＭ１５に書き込む。ここで生成される電子ファインダー表示用画像データには、Ｓ１０２と異なり、特殊効果が付加されている（厳密には、Ｓ１０９及びＳ１１１の少なくとも一方において効果があると判定された場合）。

Ｓ１１４で、ＣＰＵ１１は、表示部１３に電子ファインダー表示用画像データを表示させる。これにより、表示部１３のライブビュー表示画像が更新される。電子ファインダー表示用画像データには特殊効果が付加されているため、ここでは、特殊効果が付加されたライブビュー表示が行われる。

Ｓ１１５で、ＣＰＵ１１は、画像処理回路１８を用いて、Ｓ１０７においてＤＲＡＭ１５に格納された特殊効果のパターンに対応する特殊効果が付加された動画圧縮用データを生成し、ＤＲＡＭ１５に書き込む。

Ｓ１１６で、ＣＰＵ１１は、画像圧縮伸長回路１９を用いて、Ｓ１１５において生成した動画圧縮用データを、ＭＰＥＧ形式やＭｏｔｉｏｎＪＰＥＧ形式で圧縮する。

Ｓ１１７で、ＣＰＵ１１は、Ｓ１１６において圧縮された動画を、記録媒体Ｉ／Ｆ１６を介して記録媒体２０に記録する。

Ｓ１１８で、ＣＰＵ１１は、操作部１４の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、ＣＰＵ１１は、処理をＳ１０８に戻し、キャプチャされた次の動画フレームについて同様の処理を行う。動画記録停止指示がなされたと判定された場合、ＣＰＵ１１は、処理をＳ１１９に進める。

Ｓ１１９で、ＣＰＵ１１は、ＤＲＡＭ１５のプリＲＥＣ用データバッファに記憶されているプリＲＥＣ用データを１フレーム分読み出す。

Ｓ１２０乃至Ｓ１２５で、ＣＰＵ１１は、Ｓ１１９において読み出したフレームに対して特殊効果を付加し、動画圧縮用データを生成し、圧縮する。ここでの処理は、処理対象がプリＲＥＣ用データのフレームであることを除き、Ｓ１０９乃至Ｓ１１２及びＳ１１５乃至Ｓ１１６の処理と同様である。

Ｓ１２６で、ＣＰＵ１１は、Ｓ１２５において圧縮された動画を、ＤＲＡＭ１５のプリＲＥＣ用動画バッファに記憶する。

Ｓ１２７で、ＣＰＵ１１は、ＤＲＡＭ１５のプリＲＥＣ用データバッファに記憶されているプリＲＥＣ用データのうち、プリＲＥＣ期間に対応するフレームの全てに対する処理が完了したかどうかを判定する。未処理のフレームが存在する場合、ＣＰＵ１１は、処理をＳ１１９に戻し、ＤＲＡＭ１５のプリＲＥＣ用データバッファから次のフレームを取得し、同様の処理を行う。未処理のフレームが存在しない場合、ＣＰＵ１１は、処理をＳ１２８に進める。

Ｓ１２８で、ＣＰＵ１１は、Ｓ１２６においてＤＲＡＭ１５のプリＲＥＣ用動画バッファに記憶された動画を、記録媒体Ｉ／Ｆ１６を介して記録媒体２０に記録する。その際に、ＣＰＵ１１は、プリＲＥＣ用動画バッファに記憶された動画を、Ｓ１１７において記録媒体２０に記録された動画の先頭に結合する。

以上説明したように、第１の実施形態によれば、撮像装置１０は、動画記録開始指示がなされた際に特殊効果を決定し、動画記録開始指示前のプリＲＥＣ期間に撮影された動画と、動画記録開始指示後に撮影された動画とを記録する。従って、撮像装置１０は、プリＲＥＣ期間に撮影された動画については、リアルタイムで特殊効果を付加することができない。そこで、撮像装置１０は、プリＲＥＣ期間に撮影された動画については、ライブビュー表示の際には特殊効果が付加される前の動画を表示し、記録の際には特殊効果が付加された動画を記録する。このように、本実施形態によれば、撮像装置１０は、撮影された動画の一部に対してリアルタイムで特殊効果を付加できない状況に適応した動画処理を行う。

なお、上の説明では、撮像装置１０は、動画記録開始指示がなされた際に特殊効果を決定するものとしたが、特殊効果の決定タイミングはこれに限定されない。いかなる決定タイミングであれ、撮像装置１０は、決定タイミングまでに撮影された動画については、ライブビュー表示の際には特殊効果が付加される前の動画を表示し、記録の際には特殊効果が付加された動画を記録すればよい。

また、上の説明では、特殊効果の決定タイミングと、特殊効果が付加されたライブビュー表示が開始するタイミングとが一致していた。即ち、特殊効果が付加されていないライブビュー表示が行われる期間の最後が、特殊効果の決定タイミングであった。しかしながら、両タイミングは一致していなくても構わない。例えば、撮像装置１０は、決定タイミングの所定時間後までに撮影された動画については、特殊効果が付加される前の動画によりライブビュー表示を行い、それ以降に撮影された動画については、特殊効果が付加された動画によりライブビュー表示を行ってもよい。

［第２の実施形態］
第１の実施形態では、プリＲＥＣ期間に撮影された動画に対して、動画記録停止指示後に特殊効果を付加する構成について説明した。即ち、第１の実施形態においては、動画記録開始指示後に撮影され特殊効果が付加された動画が先に記録媒体２０に記録され、その後、プリＲＥＣ期間に撮影された動画に対して特殊効果が付加され記録媒体２０に記録された。これに対し、第２の実施形態では、動画記録開始指示後に撮影され特殊効果が付加された動画を記録媒体２０に記録する前に、プリＲＥＣ期間に撮影された動画に対して特殊効果を付加して記録媒体２０に記録する構成について説明する。第２の実施形態において、撮像装置１０の基本的な構成は第１の実施形態と同様である（図１及び図２参照）。以下、主に第１の実施形態と異なる点について説明する。

図５を参照して、本実施形態の動画撮影処理の概要を説明する。図５（ａ）はライブビュー表示の様子を示し、図５（ｂ）はプリＲＥＣ用データバッファ及び動画圧縮用データバッファの様子を示し、図５（ｃ）は動画圧縮の様子を示し、図５（ｄ）は動画ファイルの様子を示す。図５において、斜線付きのフレームは特殊効果が付加されたフレームを示し、斜線無しのフレームは特殊効果が付加されていないフレームを示す。

図５（ａ）に示すように、動画記録開始指示５０１の発生前は、プリＲＥＣ期間以前に撮影された動画５０３、及びプリＲＥＣ期間（第１の期間）に撮影された動画５０４（第１の動画）のいずれについても、特殊効果が付加されていない。従って、動画記録開始指示５０１の発生前は、特殊効果が付加されていないライブビュー表示が行われる。動画記録開始指示５０１から動画記録停止指示５０２までの期間（第２の期間）に撮影された動画５０５（第２の動画）には、特殊効果が付加されている。従って、動画記録開始指示５０１から動画記録停止指示５０２までの期間は、特殊効果が付加されたライブビュー表示が行われる。

図５（ｂ）に示すように、プリＲＥＣ期間に撮影された動画は、プリＲＥＣ用データ５０６として、ＤＲＡＭ１５のプリＲＥＣ用データバッファに記憶される。動画記録開始指示５０１の発生前は、動画に付加する特殊効果が決定されておらず、プリＲＥＣ用データ５０６は特殊効果が付加されていない状態で記憶される。また、動画記録開始指示５０１から動画記録停止指示５０２までの期間に撮影された動画は、動画圧縮用データ５０７として、特殊効果が付加された状態で、ＤＲＡＭ１５の動画圧縮用データバッファに記憶される。即ち、本実施形態では、プリＲＥＣ期間に撮影された、特殊効果が付加される前の動画、及び、動画記録開始指示５０１の発生後に撮影され特殊効果が付加された動画が、揮発性の記録媒体（ＤＲＡＭ１５）に保持される。

動画記録開始指示５０１の発生時に、動画に付加する特殊効果が決定される。図５（ｃ）及び図５（ｄ）に示すように、本実施形態では、動画記録開始指示５０１の発生後、プリＲＥＣ用データ５０６に対して特殊効果が付加され、圧縮動画５０８が生成され、動画ファイルとして記録される。その後、動画圧縮用データ５０７から圧縮動画５０９が生成され、動画ファイルとして記録される。即ち、動画圧縮用データ５０７から圧縮動画５０９を生成して記録する処理は、プリＲＥＣ期間の長さに応じた分だけ遅延して実行される。

図６は、第２の実施形態に係る、撮像装置１０による動画撮影処理のフローチャートである。図６において、図４と同一又は同様の処理が行われるステップには同一の符号を付す。本フローチャートの各ステップの処理は、特に断らない限り、ＣＰＵ１１がＲＯＭ１２に格納されたプログラムを実行することにより実現される。操作部１４の操作により撮像装置１０の動作モードが動画撮影モードに設定されると、本フローチャートの処理が開始する。

Ｓ２１５で、ＣＰＵ１１は、画像処理回路１８を用いて、Ｓ１０７においてＤＲＡＭ１５に格納された特殊効果のパターンに対応する特殊効果が付加された動画圧縮用データを生成する。

Ｓ２１６で、ＣＰＵ１１は、Ｓ２１５で生成した特殊効果が付加された動画圧縮用データを、ＤＲＡＭ１５の動画圧縮用データバッファに記憶する。

Ｓ２１７で、ＣＰＵ１１は、ＤＲＡＭ１５のプリＲＥＣ用データバッファに記憶されているプリＲＥＣ用データのうち、プリＲＥＣ期間に対応するフレームの全てに対する処理が完了したかどうかを判定する。未処理のフレームが存在する場合、ＣＰＵ１１は、処理をＳ１１９に進める。この場合、Ｓ１１９乃至Ｓ１２４において、第１の実施形態と同様、プリＲＥＣ期間の１フレームに関して、特殊効果の付加や動画圧縮用データの生成などが行われる。未処理のフレームが存在しない場合、ＣＰＵ１１は、処理をＳ２２４に進める。

Ｓ２２４で、ＣＰＵ１１は、Ｓ２１６においてＤＲＡＭ１５の動画圧縮用データバッファに記憶された動画圧縮用データのフレームの全てに対する処理が完了したかどうかを判定する。未処理のフレームが存在しない場合、ＣＰＵ１１は、本フローチャートの処理を終了する。後述のＳ２２８において動画記録停止指示がなされたと判定されるまでは、Ｓ２１６において繰り返し新たなフレームが記憶されるため、必ず未処理のフレームが存在する。未処理のフレームが存在する場合、ＣＰＵ１１は、処理をＳ２２５に進める。

Ｓ２２５で、ＣＰＵ１１は、ＤＲＡＭ１５の動画圧縮用データバッファに記憶されている動画圧縮用データを１フレーム分読み出す。

Ｓ１２４又はＳ２２５に続くＳ２２６で、ＣＰＵ１１は、画像圧縮伸長回路１９を用いて、Ｓ１２４において生成した動画圧縮用データ、又はＳ２２５において読み出した動画圧縮用データを、ＭＰＥＧ形式やＭｏｔｉｏｎＪＰＥＧ形式で圧縮する。

Ｓ２２７で、ＣＰＵ１１は、Ｓ２２６において圧縮された動画を、記録媒体Ｉ／Ｆ１６を介して記録媒体２０に記録する。

Ｓ２２８で、ＣＰＵ１１は、操作部１４の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、ＣＰＵ１１は、処理をＳ２０８に戻し、Ｓ２０８乃至Ｓ２１６において、キャプチャされた次の動画フレームについて同様の処理を行い、その後、Ｓ２１７以降の処理を行う。動画記録停止指示がなされたと判定された場合、ＣＰＵ１１は、処理をＳ２１７に戻す。この場合、プリＲＥＣ期間に対応するフレームの全てに対する処理が完了し、動画記録開始指示後に撮影されたフレームの全てに対する処理が完了すると、Ｓ２１７及びＳ２２４における判定がいずれも「ＹＥＳ」となり、本フローチャートの処理が終了する。

以上説明したように、第２の実施形態によれば、撮像装置１０は、動画記録開始指示後に撮影され特殊効果が付加された動画を記録媒体２０に記録する前に、プリＲＥＣ期間に撮影された動画に対して特殊効果を付加して記録媒体２０に記録する。このように、本実施形態によれば、撮像装置１０は、撮影された動画の一部に対してリアルタイムで特殊効果を付加できない状況に適応した動画処理を行う。

なお、第１の実施形態と同様、特殊効果の決定タイミングは動画記録開始指示のタイミングに限定されない。また、特殊効果の決定タイミングと、特殊効果が付加されたライブビュー表示が開始するタイミングとは、一致していなくても構わない。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０…撮像装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…表示部、１４…操作部、１５…ＤＲＡＭ、１６…記録媒体Ｉ／Ｆ、１７…撮像部、１８…画像処理回路、１９…画像圧縮伸長回路、２０…記録媒体

Claims (11)

1. 動画を撮影する撮影手段と、
   第１の期間に前記撮影手段で撮影された第１の動画、及び前記第１の期間に続く第２の期間に前記撮影手段で撮影された第２の動画に、特殊効果を付加する画像処理手段と、
   前記第１の期間に、前記特殊効果が付加される前の前記第１の動画を表示し、前記第２の期間に、前記特殊効果が付加された前記第２の動画を表示する表示手段と、
   前記特殊効果が付加された、前記第１の動画及び前記第２の動画を記録する記録手段と、
   前記画像処理手段により付加する前記特殊効果を決定する決定手段と、
   を備え、
   前記決定手段は、記録開始指示に応えて前記特殊効果を決定することを特徴とする撮像装置。
2. 前記第１の期間は、前記決定手段による前記特殊効果の決定タイミングを含む
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の期間の最後は、前記決定手段による前記特殊効果の決定タイミングである
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記特殊効果が付加される前の前記第１の動画を保持する保持手段を更に備え、
   前記画像処理手段は、前記第２の動画に前記特殊効果を付加した後に、前記保持手段により保持されている前記第１の動画に前記特殊効果を付加し、
   前記記録手段は、前記特殊効果が付加された前記第２の動画を記録した後に、前記特殊効果が付加された前記第１の動画を記録する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記保持手段は、前記特殊効果が付加される前の前記第１の動画を揮発性の記録媒体に保持し、
   前記記録手段は、前記特殊効果が付加された前記第２の動画を不揮発性の記録媒体に記録し、前記特殊効果が付加された前記第１の動画を前記不揮発性の記録媒体に記録する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記特殊効果が付加される前の前記第１の動画、及び前記特殊効果が付加された前記第２の動画を保持する保持手段を更に備え、
   前記画像処理手段は、前記保持手段により保持されている前記第１の動画に前記特殊効果を付加し、
   前記記録手段は、前記特殊効果が付加された前記第１の動画を記録した後に、前記保持手段により保持されている前記特殊効果が付加された前記第２の動画を記録する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
7. 前記保持手段は、前記特殊効果が付加される前の前記第１の動画、及び前記特殊効果が付加された前記第２の動画を揮発性の記録媒体に保持し、
   前記記録手段は、前記特殊効果が付加された前記第１の動画を不揮発性の記録媒体に記録し、前記保持手段により保持されている前記特殊効果が付加された前記第２の動画を前記不揮発性の記録媒体に記録する
   ことを特徴とする請求項６に記載の撮像装置。
8. 動画を撮影する撮影手段と、
   直近の第１の期間に前記撮影手段で撮影された動画を保持する保持手段と、
   記録開始指示に応えて特殊効果を決定する決定手段と、
   前記記録開始指示の発生時に前記保持手段により保持されている第１の動画、及び前記記録開始指示の発生後の第２の期間に前記撮影手段で撮影された第２の動画に前記特殊効果を付加する画像処理手段と、
   前記特殊効果が付加された、前記第１の動画及び前記第２の動画を記録する記録手段と、
   前記撮影手段で撮影された動画をリアルタイムで表示する表示手段と、
   を備え、
   前記表示手段は、前記特殊効果が決定される前は、前記特殊効果が付加されていない動画を表示し、前記特殊効果が決定された後は、前記特殊効果が付加された動画を表示することを特徴とする撮像装置。
9. 動画を撮影する撮影手段を有する撮像装置の制御方法であって、
   第１の期間に前記撮影手段で撮影された第１の動画、及び前記第１の期間に続く第２の期間に前記撮影手段で撮影された第２の動画に、特殊効果を付加する画像処理工程と、
   前記第１の期間に、前記特殊効果が付加される前の前記第１の動画を表示し、前記第２の期間に、前記特殊効果が付加された前記第２の動画を表示する表示工程と、
   前記特殊効果が付加された、前記第１の動画及び前記第２の動画を記録する記録工程と、
   前記画像処理工程により付加する前記特殊効果を決定する決定工程と、
   を備え、
   記録開始指示に応えて、前記決定工程にて前記特殊効果を決定することを特徴とする撮像装置の制御方法。
10. 動画を撮影する撮影手段を有する撮像装置の制御方法であって、
    直近の第１の期間に前記撮影手段で撮影された動画を保持する保持工程と、
    記録開始指示に応えて特殊効果を決定する決定工程と、
    前記記録開始指示の発生時に前記保持工程により保持されている第１の動画、及び前記記録開始指示の発生後の第２の期間に前記撮影手段で撮影された第２の動画に前記特殊効果を付加する画像処理工程と、
    前記特殊効果が付加された、前記第１の動画及び前記第２の動画を記録する記録工程と、
    前記撮影手段で撮影された動画をリアルタイムで表示する表示工程と、
    を備え、
    前記表示工程では、前記特殊効果が決定される前は、前記特殊効果が付加されていない動画を表示し、前記特殊効果が決定された後は、前記特殊効果が付加された動画を表示することを特徴とする撮像装置の制御方法。
11. コンピュータを、請求項１乃至８のいずれか１項に記載の撮像装置の撮影手段を除く各手段として機能させるためのプログラム。

Images