JP6552193B2 - 撮像装置、および、記録装置の制御方法 - Google Patents

Description

本発明は、撮像装置における動画撮影、および、動画の記録方法に関する。

近年、多くのユーザがデジタルカメラやスマートフォンなどの撮像装置を利用して、動画の撮影を行う機会が増えている。

その中には撮影後の動画に対して、編集ソフトを用いて特殊な効果を施したり、動画同士を結合するなど動画を加工して、作品づくりを行っている。

しかし、動画データはファイルサイズが大きかったり、編集に伴う再圧縮などで、動画の編集を行う際には多くの時間と負荷がかかるという問題がある。

そこで、特許文献１では、画像を撮影する際に、静止画と共にスローモーション動画を撮影して記録することにより、自動的に印象的な映像効果を有する時系列画像を得ることについて提案されている。

特開２０１３−１２３２１０号公報

しかし、引用文献１では、静止画撮影を利用して動画に効果を加えているため、本来の特殊効果（再生効果）を加えていない動画は記録されない。それに対し、動画撮影においては、特殊効果を施さない動画を記録することが求められる。

そこで、本発明では、動画撮影において、通常の動画データも記録した上で、印象的な再生効果を施した動画を取得することのできる撮像装置、および、画像記録方法を提供することをと目的とする。

上記目的を達成するため、本発明の撮像装置は、
動画を撮影する撮影部と、前記撮影部により撮影した動画に対して、再生効果を施す画像処理手段と、前記撮影部により撮影した動画を記録媒体に記録するように制御する制御手段と、前記撮影部による動画の撮影中に、圧縮処理されていない非圧縮動画データの一時保存を行う一時保存手段と、を備え、前記一時保存手段は、前記記録媒体に記録すべき動画の撮影開始から所定時間が経過したことに応じて、圧縮処理されていない前記非圧縮動画データの一時保存を開始し、前記画像処理手段は、前記一時保存手段により一時保存した非圧縮動画データを用いて、前記記録媒体に記録される再生効果を施していない通常動画のうちの一部の期間の動画に対して再生効果を施し、前記制御手段は、前記通常動画と、当該通常動画のうちの一部の期間の動画に対して再生効果が施された再生効果動画とを連結して、一連の動画データとして前記記録媒体に記録するように制御することを特徴とする。

上記の構成により、動画撮影において、通常の動画データも記録した上で、印象的な特殊効果を施した動画を取得することのできる撮像装置、および、画像記録方法を提供することができる。

本発明に係るデジタルカメラの構成を示す図である。 第１の実施形態における動画撮影のフローチャートである。 第１の実施形態において撮影、記録される動画を示す図である。 第２の実施形態における動動画撮影のフローチャートである。 第２の実施形態において撮影、記録される動画を示す図である。 第２の実施形態の変形例において撮影、記録される動画を示す図である。 第３の実施形態における動動画撮影のフローチャートである。 第４の実施形態において撮影、記録される動画データを示す図である。

〔第１の実施形態〕
図１は、本発明に係るデジタルカメラ１００の構成を示す図である。

１０は、デジタルカメラ１００の撮影レンズ１１等を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである。

１１は撮影レンズ、１２は絞り機能を備えるシャッターである。１３は、撮影レンズ１１を介して得られた光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。１５は、撮像素子１３で得られた電気信号について、アナログ信号出力からディジタル信号に変換するＡ／Ｄ変換器である。撮像素子１３で得られた電気信号をＡ／Ｄ変換器１５によりディジタル信号に変換することにより、撮像した画像データを得ることができる。

１４は撮像素子１３、Ａ／Ｄ変換器１５、Ｄ／Ａ変換器２１にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１５からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４１に対して制御を行い、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。

画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行う。

さらに、画像処理回路２０においては、メモリ２５に格納された画像データを読み込んでＪＰＥＧ方式やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式での圧縮処理、或いは伸長処理を行い、処理を終えたデータをメモリ２５に書き込む。

Ａ／Ｄ変換器１５でディジタル変換された画像データが、画像処理回路２０において画像処理が施された後にメモリ制御回路２２を介して、或いはＡ／Ｄ変換器１５から直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ２５に書き込まれる。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１５、タイミング発生回路１４、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。

２４は画像表示メモリ、２１はＤ／Ａ変換器、２３はＴＦＴ ＬＣＤ等から成る表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２１を介して表示部２３に表示される。

表示部２３を用いて撮像した画像データを逐次表示すれば、ライブビュー映像を表示する電子ファインダ機能を実現することが可能である。

２５は撮影した画像データ（静止画像や動画像）を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ２５はシステム制御回路５０の作業領域としても使用することが可能である。

４０は絞り機能を備えるシャッター１２を制御する露光制御部である。

４１は撮影レンズ１１のフォーカシングを制御する測距制御部、４２は撮影レンズ１１のズーミングを制御するズーム制御部、４３はバリアである保護部１０の動作を制御するバリア制御部である。

７１は、被写体等の外部音声を取り込むマイク、７２は、デジタルカメラ１００の操作音やシャッター音、動画再生時の音声を出力するスピーカーである。７３は、マイク７１、スピーカー７２の制御や入出力される音声データの録音レベルやボリューム、ノイズキャンセル処理などを施す音声制御部である。

５０は図１の各部やデジタルカメラ１００全体を制御するシステム制御回路であり、不揮発性メモリ５１に記録されているプログラムに基づいて制御や演算処理を行う。

５１は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。プログラムだけでなく、地図情報等も記録されている。

６０、６１及び６２は、システム制御回路５０の各種の動作指示を入力するための操作部である。電源スイッチ、モード切り替えスイッチ、メニューボタン、十字キー、さらに、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

６０はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６１はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮影処理が開始される。

６２は各種ボタンやタッチパネル等からなる操作部である。この操作部には、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替スイッチ、十字キー、セットボタン等が含まれる。

７０は動画撮影の開始、終了を指示するための操作部材である動画撮影ボタンである。

８１は電源制御部である。

８０はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。

９０はメモリカード等の外部記録媒体とデータの送受信を行うカードコントローラである。

９１はメモリカード等の外部記録媒体である。

画像処理回路２０、メモリ制御回路２２、露光制御部４０、測距制御部４１、ズーム制御部４２、バリア制御部４３、電源制御部８１、カードコントローラ９０等の各部は、それぞれの処理を行うための専用の回路、または、プログラムされたプロセッサである。

＜デジタルカメラ１００での撮影処理＞
デジタルカメラ１００では、シャッタースイッチＳＷ２（６１）がシステム制御回路５０に入力されると、撮影処理の開始が指示されて撮影処理が実行される。

撮影処理では、まず、撮像素子１３から電気信号を読み出して、Ａ／Ｄ変換器１５ディジタル変換を行い、メモリ制御回路２２を介してメモリ２５に画像データを書き込む露光処理を行う。そして、メモリ２５の画像データに対して画像処理回路２０やメモリ制御回路２２で演算を用い再び画像データをメモリ２５に書き込む現像処理を行う。そして、メモリ２５から画像データを読み出し、画像処理回路２０により圧縮処理を行ってメモリ２５に格納した後に、カードコントローラ９０の制御により、外部記録媒体９１に圧縮した画像データを書き込む記録処理を行う。静止画撮影の場合は、画像処理回路２０において静止画に対応する現像処理、圧縮処理等を行い、動画撮影の場合は、画像処理回路２０において動画に対応する現像処理、圧縮処理等を行うようにシステム制御回路５０が制御する。

デジタルカメラ１００では、操作部６２に含まれるモード切り替えスイッチを動画撮影用のモードに切り替えてシャッターボタン（シャッタースイッチＳＷ２）を押すか、または、動画撮影ボタン７０を押すことで動画撮影開始の指示を行うことができる。

動画を撮影する場合、動画撮影の開始から終了が指示されるまで撮影した画像が外部記録媒体に記録される。そして、本実施形態のデジタルカメラ１００では、動画撮影時に、動画撮影開始から終了までの通常動画と共に、再生効果を施した動画を記録することができる。

＜動画撮影処理＞
この、デジタルカメラ１００の動画撮影時の処理について図２Ａ、図２Ｂを参照して説明する。図２Ａは動画撮影処理のフローチャートであり、この動画撮影処理は、システム制御回路５０が不揮発性メモリ５１から読み出したプログラムに基づいて制御および演算処理を行うことにより実行される。

シャッターボタンまたは動画撮影ボタン７０が押下されて動画撮影開始の指示が入力されたことにより、図２Ａの動画撮影処理が実行される。

まず、動画撮影開始が指示されると、ステップＳ２００において、外部記録媒体９１の残容量の確認を行う。本実施形態のデジタルカメラにおいては、通常動画だけでなく通常動画の後に再生効果を施した動画を連結して記録するので、再生効果を施した動画が確実に記録できるように、外部記録媒体９１の残容量の確認を行う。具体的には、動画データの記録サイズを予測し、予測される記録サイズと外部記録媒体９１の空き容量を比較し、十分な空き容量がない（Ｓ２００でＮＯ）場合には、ステップＳ２１６に進む。ステップＳ２１６では、外部記録媒体９１の記録容量が足りず、撮影できない旨をユーザに通知し、動画撮影処理を終了する。

ここで、本動画撮影処理では、動画撮影の上限時間が予め設定されている。上限時間を超える場合は、自動的に動画撮影が終了する。また、この上限時間は、ユーザが操作部６２を操作することにより、設定可能な範囲の中で変更可能としてもよい。この上限時間で撮影される通常動画のサイズと、再生効果を施した場合の動画データのサイズとから、外部記録媒体９１に記録される動画データの記録サイズの最大値を予測し、空き容量があるかを判断する。この記録サイズの予測は、動画撮影の上限時間の設定および再生効果の種類や再生効果を施す動画の時間等に応じて算出してもよい。あるいは、動画撮影の上限時間と再生効果の種類、時間に対応する予測記録サイズが記載されているテーブルを予め用意して、良テーブルを参照して記録サイズを予測してもよい。空き容量があると判断される（Ｓ２００でＹＥＳ）と、ステップＳ２０１に進み動画撮影が開始される。

ステップＳ２０１では、露出制御４０によって制御された適正露出となった撮像素子１３の出力に対して、Ａ／Ｄ変換期１５、画像処理回路２０等で所定の処理を行うことにより動画用画像データを生成し、メモリ２５に格納する。この動画用画像データは、操作部６２等で予め設定された画像サイズ（例えば、１９２０×１０８０（ＦＵＬＬＨＤ）、１２８０×７２０（ＨＤ）など）にリサイズされた非圧縮の画像データ（非圧縮動画データ）である。また、Ｓ２０１では、予め設定されているフレームレートになるようにタイミング発生回路１４を制御して撮像素子１３からの出力を得て、動画用画像データを生成する。

ステップＳ２０２では、メモリ２５に格納されている動画用画像データを画像処理回路２０に含まれる動画圧縮処理（エンコード）を行って、圧縮した動画データを作成し、メモリ２５に格納する。

ステップＳ２０３では、ステップＳ２０２で作成された動画データを外部記録媒体９１に記録する。毎フレーム毎に記録してもよいし、複数フレームがメモリ２５に格納されてから記録を行っても良い。

ステップＳ２０４では、シャッターボタン、または、動画撮影ボタン７０が押され、動画停止が指示されたか確認する。動画停止が指示された場合は、ステップＳ２１５に進み、動画記録終了処理を行う。動画記録終了処理では、動画撮影処理を開始してから外部記録媒体９１に記録された動画データが動画ファイルとして記録されるように、動画データを管理するための管理データを記録する。動画停止が指示されていない場合は、ステップＳ２０５に進む。

ステップＳ２０５では、動画撮影が開始されてから時間Ｔ１が経過したかを判断する。ここで、Ｓ２０５では、時間Ｔ１分の動画の撮影が終了したかが判断できれはよい。従って、動画撮影を開始してからの時間を計測して判断してもよいし、動画撮影を開始してから生成した動画用画像データまたは動画データの数をカウントし、時間Ｔ１に対応する数に達したかで判断してもよい。動画撮影開始から時間Ｔ１を経過していない場合は、ステップＳ２０７に進み、動画撮影の上限時間が経過したかを確認する。上限時間を経過していない場合は、ステップＳ２０１に戻り、動画撮影を継続する。なお、Ｓ２０７における判断においても、上限時間分の動画の撮影が終了したかが判断できればよいので、Ｓ２０５と同様に時間を計測して判断してもよいし、動画撮影を開始してから生成した動画用画像データまたは動画データの数をカウントして判断してもよい。

ステップＳ２０５において、時間Ｔ１を経過したと判断された場合は、ステップＳ２０１で直前に作成された動画用画像データを、メモリ２５に一時保存する。メモリ２５が十分大きければ、ステップＳ２０１で作成された複製を作成しメモリ２５に保存しても良いし、十分でない場合は、それ以降の動画撮影で上書きされないように動画用画像データの格納場所を動的に割り当てても良い。また、動画用画像データ一時保存する際には、動画用画像データにそれぞれに対して保存順が分かるように番号を付与していく。本実施形態では、一時保存される順に、フレーム番号（Ｆｒ）を、Ｆｒ＝０、Ｆｒ＝１、Ｆｒ＝２とカウントして付与していくこととする。

ステップＳ２０７で上限時間を経過した場合、ステップＳ２０８に進む。

ステップＳ２０８では、ユーザに動画撮影が終了し、再生効果や記録処理等の処理を実施する旨を表示部２３に表示することにより通知する。

ステップＳ２０９では、ステップＳ２０６でメモリ２５に一時保存された動画用画像データの全保存枚数−１を変数Ｘに代入する。ここでＳ２０６において、フレーム番号を０〜付与したため、変数Ｘに代入される数は、メモリ２５に最新で一時保存されたフレーム番号となる。

次に、ステップＳ２１０では、メモリ２５に一時保存されてる動画用画像データの中からフレーム番号がＸ、つまり、Ｆｒ＝Ｘとなる動画用画像データを選択する。

そして、ステップＳ２１１において、選択された動画用画像データを画像処理回路２０により動画圧縮処理（エンコード）を行って、圧縮した動画データを作成し、メモリ２５に格納する。

ステップＳ２１２において、Ｓ２１１で作成された動画データをステップＳ２０３で外部記録媒体９１に記録していた動画データに追記する。

ステップＳ２１３では、変数ＸにＸ−２を代入し、Ｓ２１４でＸが０以上であるかを判断し、Ｘが０以上である間、ステップＳ２１０からＳ２１４を繰り返す。

そして、Ｘが０以上でない場合は、動画記録終了処理を行い、それまでＳ２０３およびＳ２１２で外部記録媒体９１に記録した動画データが１つの動画ファイルとして記録されるように管理データを記録する。

このような動画撮影処理により、撮影される動画用画像データおよび記録される動画データを図２Ｂを参照して説明する。

図２Ｂにおいて、２００１〜２０１０は動画用画像データを示しており、２００１’〜２０１０’は、２００１〜２０１０の動画用画像データに動画圧縮処理を施した動画データを示している。つまり、図２Ｂ中の矢印線において、破線は動画圧縮処理をせずにデータを格納する場合を示しており、実線は動画圧縮処理を施してデータを記録する場合を示している。

まず、Ｓ２０１の動画撮影において、予め決められたフレームレートで撮影され、２００１〜２０１０の動画用画像データが生成される。撮影開始から撮影終了までに撮影された動画用画像データ２００１〜２０１０に対して動画圧縮処理が施され（Ｓ２０２）、動画データ２００１’〜２０１０’が外部記録媒体９１に記録される（Ｓ２０３）。なお、この動画データ２００１’〜２０１０’は、撮影と同じフレームレートで通常動画として記録される。

そして、撮影開始から撮影終了までのうち、撮影開始から時間Ｔ１が経過するまでに撮影された、動画用画像データ２００１〜２００４は、メモリ２５に一時保存されることなく破棄される。それに対し、時間Ｔ１が経過してから撮影終了までの期間Ｔ２に撮影された動画用画像データ２００５〜２０１０は、動画用画像データ２００５〜２０１０メモリ２５に一時保存される。つまり、Ｔ１を経過した後には、一時保存処理も開始され、期間Ｔ２では、外部記録媒体への動画圧縮処理された動画データの記録だけでなく、非圧縮の動画用画像データをメモリ２５に一時保存する処理も行われる。

そして、撮影終了後に、メモリ２５に一時保存されている動画用画像データを、保存された順から逆に一枚飛ばして動画圧縮処理して通常動画の後にして記録する（Ｓ２０９〜Ｓ２１４）。ここで通常動画に連結して記録する動画は、撮影した動画用画像データを１枚飛ばしでかつ時間軸が逆となるように動画データが記録されるため、通常動画に対して２倍の早戻し再生を行った再生効果が施された２倍速早戻し動画が記録される。

このように、上述の動画撮影処理で記録される動画は、通常の動画の後に、通常動画の一部の期間（Ｔ２）の動画の２倍速早戻し動画が連結されて一連の動画として１つの動画ファイルとして記録される。

動画記録開始から終了までの再生効果を施していない通常動画に連結して、通常動画の再生効果を施した動画を記録する。そのため、通常動画を残しつつ、ユーザは特別な編集操作を行わなくても動画撮影のための操作だけで、自動的に印象的な再生効果を施した動画を取得することができる。また、通常動画と再生効果動画を連結して１つの動画ファイルとして記録するため、動画を再生する際に、撮影して得られた１つの動画ファイルを再生するだけで、再生効果のある動画を簡単に再生することが可能となる。

本実施形態では、時間Ｔ１を経過した後に撮影した動画に対して再生効果を施して通常動画に連結して記録したが、通常動画全体に再生効果（２倍速逆再生効果）を施した２倍速逆再生動画を通常動画に連結して記録するようにしてもよい。また、時間Ｔ１をユーザが設定可能にしてもよい。あるいは、再生効果を施す期間Ｔ２をユーザが設定可能なようにしてもよい。この場合、Ｓ２０６において、時間Ｔ２分の動画用画像データをメモリ２５に一時保存し、時間Ｔ２分の動画用画像データを超える場合は、過去の動画用画像データを破棄するように処理を行うとよい。

また、上述の動画撮影処理では、期間Ｔ２分の動画用画像データをメモリ２５に一時保存する必要がある。これは、再生効果として、時間軸を逆にする逆再生効果を施して圧縮した動画データを記録するため、撮影終了まで動画データを生成することができないためである。特に、動画圧縮処理において、フレーム間圧縮を行う場合には、動画圧縮処理に前後または前のフレーム動画用画像データが必要となるため予め圧縮済みの動画データを生成して外部記録媒体に記録しておくことができない。そのため、２倍速逆再生効果を施す動画用画像データを一時保存することが必要となる。

一時保存するデータの容量に関連する、時間Ｔ１、時間Ｔ２や、動画撮影の上限時間等は、メモリ２５に一時保存可能な動画用画像データの量を考慮して設定可能に制限するとよい。

上述の動画撮影処理では、動画撮影の上限時間は、メモリ２５の容量に応じて制限されてしまうため、上述の動画撮影処理の通常動画と再生効果動画を記録するモードと、通常動画のみを記録する通常動画撮影モードとを用意してもよい。通常動画撮影モードでは、Ｓ２０１〜Ｓ２０４、および、Ｓ２１５の処理が行われ、Ｓ２０４で動画停止指示がない場合はＳ２０１に戻る処理を行う。つまり、動画撮影開始指示から動画撮影停止指示までに、所定のフレームレートで撮影された動画用画像データ（Ｓ２０１）をエンコードして得られた動画データ（Ｓ２０２）が、外部記録媒体９１に１つの動画ファイルとして記録される（Ｓ２０３、Ｓ２１５）。

また、上述の動画撮影処理では、再生効果として、２倍速逆再生効果を施した。再生効果はこれに限らず、１倍速逆再生効果（Ｓ２１３において１枚飛ばしを行わない）や、３倍速逆再生効果（Ｓ２１３においてＸ＝Ｘ−３として２枚飛ばしを行う）を行ってもよい。また、早戻し再生効果だけでなく、早送り再生効果、スロー再生効果、スロー戻し再生効果等の再生効果を施してもよい。

また、本実施形態では、通常動画の後に、再生効果を施した画像を連結して記録した。再生する際には最初に通常動画が再生されるため、通常動画の確認を簡単にできると共に、通常動画だけでなく再生効果が施された動画を提供することができる。

〔第２の実施形態〕
第１の実施形態では、通常動画に、通常動画の所定の期間の動画に対して２倍速逆再生効果を施した再生効果動画を連結して記録する動画撮影処理について説明した。第２の実施形態では、通常動画の所定の期間の動画に対して逆再生効果を施した早戻し動画と、スロー再生効果を施したスロー動画とを生成し、通常動画と早戻し動画とスロー動画とを連結した動画を記録する動画撮影処理について説明する。

基本的な処理は、第１の実施形態と同じであるため、異なる部分についてのみ説明し、第１の実施形態と同じ処理については、同じ番号を付して説明を省略する。

第２の実施形態の動画撮影処理について図３Ａ、図３Ｂを用いて説明する。

図３Ａは、第２の実施形態の動画撮影処理のフローチャートで、第１の実施形態と同様に、シャッターボタンまたは動画撮影ボタン７０が押下されて動画撮影開始の指示が入力されたことにより、実行される。また、この動画撮影処理は、システム制御回路５０が不揮発性メモリ５１から読み出したプログラムに基づいて制御および演算処理を行うことにより実行される。

なお、本実施形態の動画撮影処理では、第１の実施形態のＳ２００で行った外部記録媒体９１の記録残容量の確認は行わない。これは、図３Ａのフローチャートには記載していないが、本実施形態の動画撮影処理では、動画撮影中に外部記録媒体９１の空き容量がなくなった場合はすぐに動画撮影を終了し、再生効果動画を記録しないようにするためである。

本実施形態の動画撮影処理では、まず、第１の実施形態と同様に、動画を撮影て動画用画像データを作成し（Ｓ２０１）、動画用画像データに対して動画圧縮処理を行って動画データを生成し（Ｓ２０２）、動画データを外部記録媒体に記録する（Ｓ２０３）。

次に、ステップ３００において、Ｓ２０１で作成した動画用画像データをメモリ２５に一時保存する。本実施形態では第１の実施形態と異なり、時間Ｔ１経過した後から行うのではなく、動画撮影開始時点から実行する。メモリ２５が十分大きければ、ステップＳ２０１で作成された複製を別にメモリ２５作成し保存しても良いし、あるいは、複製せずに一時保存対象の動画用画像データが上書きされないように、後の動画用画像データの格納場所を動的に割り当てても良い。また、一時保存する動画用画像データの数にあらかじめ上限を定めておき、上限以上保存する際には、古い動画用画像データから順に削除していくようにしてもい。この場合再生効果動画の長さに上限が設けられることになる。

次に、ステップ２０４において、動画撮影停止の指示が入力されたかを確認し、停止の指示があった場合は、ステップＳ２１５に進んで、動画記録終了処理を行う。動画撮影停止指示が入力されていない場合は、ステップＳ２０７において、上限時間を経過したかを判断し、上限時間を超えていない場合は、ステップＳ２０１〜Ｓ２０３、Ｓ３００、Ｓ２０４、Ｓ２０７の処理を繰り返す。上限時間を超えたと判断された場合は、Ｓ３０１に進む。

Ｓ３０１では、メモリ２５に一時保存されている動画用画像データの枚数が、所定の枚数以上であるかを判断する。具体的には、最新に一時保存したフレーム番号が所定の数より大きいかで判断する。一時保存している動画用画像データの数が少ない場合、つまり、再生効果を施す対象の動画の長さが短い場合には、再生効果を確認し難くなってしまう。また、本実施形態の動画撮影処理では、通常動画の後に通常動画に再生効果を施した再生効果動画を連結して記録するため、通常動画が短い場合には、通常動画と再生効果動画の堺目が分からなくなってしまうことも考えられる。そのため、一時保存している動画用画像データの数が少ない場合は、再生効果動画の生成処理を行わずに、ステップＳ２１５に進み、それまでに記録した通常動画の動画データを１つの動画ファイルとして記録する動画記録終了処理を行う。一時保存している動画用画像データの数が所定の枚数よりも多い場合は、ステップＳ２０８に進み、再生効果を施した動画を生成するための処理中であることを表示部２３に表示して、ユーザに通知する。

ステップ２０９〜ステップ２１４においては、第１の実施形態と同様に、メモリ２５に一時保存されている動画用画像データから、２倍速逆再生効果を施した２倍速早戻し動画を生成して、Ｓ２０３で記録した通常動画の動画データに追記して記録する。２倍速早戻し動画の生成および記録が終わると、ステップＳ３１０に進む。

ステップＳ３１０では、まず、変数Ｘに０を代入し、ステップＳ３１１でメモリ２５に一時保存されている動画像画像データの中から、Ｘ番目の動画用画像データを選択する。つまり、最初は、今回の動画撮影処理においてＳ３００でメモリ２５に一番最初に一時保存した動画用画像データを選択すことになる。そして、ステップＳ３１２において、Ｓ３１１で選択した動画用画像データに対して、動画圧縮処理（エンコード）を行って動画データを生成する。そして、ステップＳ３１３では、Ｓ３１２で生成した動画データを、Ｓ２１２で外部記録媒体９１に記録した動画データに追記する。Ｓ３１４では、同じ動画用画像データに対してＳ３１２、Ｓ３１３の処理を２回繰り返したが確認し、繰り返しが終了していない場合は、同じ動画用画像データに対してＳ３１２、Ｓ３１３の処理を行う。１つの動画用画像データに対してＳ３１２、Ｓ３１３の処理が２回終了すると、次に、ステップＳ３１５においてＸにＸ＋１を代入しする。そして、ステップＳ３１６では、Ｘがメモリ２５に一時保存されている動画用画像データの全枚数以上になったか（または、Ｘが一番最後に一時保存されたフレーム番号を超えたか）を判断し、ＮＯの場合は、Ｓ３１１〜Ｓ３１４の処理を行うまで繰り返す。つまり、メモリ２５に記録されている全ての動画用画像データに対して、最初にメモリ２５に一時保存された動画用画像データから順に、Ｓ３１１〜Ｓ３１３の処理を繰り返す。Ｓ３１５でＹＥＳとなる場合は、Ｓ２１５に進み、Ｓ２０３、Ｓ２１２、Ｓ３１３で外部記録媒体９１に記録した動画データに対して動画記録終了処理を行い、１つの動画ファイルとして記録するための管理情報を記録する。

続いて、図３Ｂを用いて、本実施形態の動画撮影処理により撮影、記録されるデータについて説明する。

図３Ｂにおいて、３００１〜３００４は、動画撮影開始から動画撮影終了までに撮影した動画用画像データを示しており、３００１’〜３００４’は、それぞれ、３００１〜３００４に動画圧縮処理を施して生成された動画データを示している。つまり、図３Ｂも図２Ｂと同様に、図中の矢印線において、破線は動画圧縮処理をせずにデータを記録する場合を示しており、実線は動画圧縮処理を施してデータを記録する場合を示している。

まず、動画撮影開始から撮影終了までの期間Ｔ３に、予め決められたフレームレートで撮影され、３００１〜３００４の動画用画像データが生成される（Ｓ２０１）。

撮影開始から撮影終了までに撮影された動画用画像データ３００１〜３００４に対して動画圧縮処理が施され（Ｓ２０２）、動画圧縮処理により生成された動画データ３００１’〜３００４’が外部記録媒体９１に記録される（Ｓ２０３）。なお、この動画データ３００１’〜３００４’は、撮影と同じフレームレートで通常動画として記録される。

そして、本実施形態では、撮影開始からすぐに動画用画像データの一時保存が始まるため、一時保存する期間Ｔ２はＴ２＝Ｔ３となり、撮影開始から撮影終了までに撮影された動画用画像データ３００１〜３００４が、メモリ２５に一時保存される。

つまり、期間Ｔ２（＝Ｔ３）において、動画圧縮処理された動画データの外部記録媒体への記録だけでなく、非圧縮の動画用画像データをメモリ２５に一時保存する処理も行われる。

そして、撮影終了後に、メモリ２５に一時保存されている動画用画像データを、保存された順から逆に一枚飛ばして動画圧縮処理して通常動画の後に連結して記録する（Ｓ２０９〜Ｓ２１４）。ここで通常動画に連結して記録する動画は、撮影した動画用画像データを１枚飛ばしでかつ時間軸が逆となるように動画データが記録される。そのため、通常動画に対して２倍速の早戻し再生の再生効果（２倍速逆再生効果）が施された２倍速早戻し動画（２倍速逆再生動画）が記録される。

そしてその後、メモリ２５に一時保存されている動画用画像データを、保存された順で読み出し、動画用画像データに動画圧縮処理して２倍速早戻し動画に続けて記録する（Ｓ３１０〜Ｓ３１６）。このとき、同じ動画用画像データに対して、２回動画圧縮処理して記録することにより、１／２倍速スロー再生効果が施された１／２倍速スロー動画が、２倍速早戻し動画に続けて記録されることになる。

従って、第２の実施形態の動画撮影処理においては、撮影開始から終了までの通常動画に続いて、通常動画の２倍速早戻し動画、通常動画の１／２倍速スロー動画が記録された動画データが１つの動画ファイルとして記録されれる。

第２の実施形態では、撮影開始してからすぐに動画用画像データを一時保存し、撮影開始から撮影終了までの期間Ｔ３に撮影して得られた動画用画像データに対して複数の再生効果を施した画像を、期間Ｔ３に撮影して得られた通常動画に続けて記録した。しかし、第１の実施形態と同様にして、撮影開始してからＴ１の期間までは一時保存は行わずに外部記録媒体９１への記録のみを行い、Ｔ１を過ぎてから撮影終了までのＴ２の期間に外部記録媒体９１への記録と一時保存を行ってもよい。この場合、図３Ｃのように、期間Ｔでは、撮影して得られた動画用画像データに動画圧縮処理を行って外部記録媒体９１へ記録する処理が行われる。そして、期間Ｔ２からは、撮影して得られた動画用画像データの動画圧縮処理および外部記録媒体９１への記録と共に、動画用画像データをメモリ２５に一時保存する処理も行われる。そして、撮影終了後に、期間Ｔ２に撮影しメモリに記録された動画用画像データを用いて、２倍速早戻し動画と、１／２倍速スロー動画の生成を行い、通常動画に続けて１つの動画ファイルとして記録する。

本実施形態では、再生効果として、２倍速早戻し効果と、１／２倍速スロー効果の複数種類の再生効果を、同じ動画用画像データに対して行った。しかし、再生効果はこれに限らず、早送り再生効果、早戻し再生効果、スロー再生効果、スロー戻し再生効果等、の再生効果を適宜選択して施してもよい。

早戻し再生効果を適応することにより、通常動画とは全く異なる特殊な動画が生成され、面白い動画を自動的に生成することができる。また、本実施形態のように、同じ動画について、通常→逆再生効果→順再生効果（スロー再生効果）の順で再生効果を施すこす場合、動画の再生方向は変わるが、記録される動画のフレームの時間が大きく飛ぶことはない。そのため、再生効果は施されているが違和感のない連続した動画を生成することができる。

〔第３の実施形態〕
第２の実施形態では、逆再生効果を施し、更に、同じ動画用画像データを複数回使用して動画データを生成することによりスロー再生効果を施す場合について説明した。第３の実施形態では、スロー再生効果を施す場合に、同じ動画用画像データを複数回再生するのではなく、撮影のフレームレートを記録のフレームレートを異ならせることにより、より高画質なスロー再生効果を施す場合の動画撮影処理について説明する。

基本的な処理は、第１の実施形態および第２の実施形態と同じであるため、異なる部分についてのみ説明し、第１の実施形態と同じ処理については、同じ番号を付して説明を省略する。

第３の実施形態の動画撮影処理について図４Ａ、図４Ｂを用いて説明する。

まず、第１の実施形態と同様に、ステップＳ２００において、外部記録媒体９１の残容量の確認を行う。十分な空き容量がないと判断された（Ｓ２００でＮＯ）場合には、ステップＳ２１６に進み、外部記録媒体９１の記録容量が足りず、撮影できない旨をユーザに通知し、動画撮影処理を終了する。十分な空き容量があると判断された場合は、ステップＳ４００に進む。

ステップＳ４００では、ステップＳ２０１と同様に、撮像素子１３の出力に対して、Ａ／Ｄ変換器１５、画像処理回路２０等で所定の処理を行うことにより動画用画像データを生成し、メモリ２５に格納する。しかし、Ｓ４００では、予め設定されている動画記録用のフレームレートの２倍のフレームレートとなるようにタイミング発生回路１４を制御して撮像素子１３からの出力を得て、動画用画像データを生成する。つまり、記録のフレームレートの２倍で、動画の撮影を行う。本実施形態では、記録フレームレートが、２９．９７ｆｐｓ、撮影フレームレートが、５９．９４ｆｐｓに設定されているものとするが、他のフレームレート（例えば、記録が３０ｆｐｓ、撮影が６０ｆｐｓ等）を用いてもよい。Ｓ４０１では、Ｓ４００で生成した動画用画像データが撮影開始から奇数番目に生成したフレームであるか、偶数番目に生成下フレームであるかを判断する。偶数番目のフレームであると判断された場合は、Ｓ２０２の動画圧縮処理、および、Ｓ２０３の動画データ記録処理を行わない。奇数番目のフレームであると判断された場合は、Ｓ２０２の動画圧縮処理、および、Ｓ２０３の動画データ記録処理を行う。撮影して得られた動画用画像データ（フレーム）は、１枚とびで記録されるので、記録フレームレートは、撮影フレームレートの１／２倍となる。

そして、第２の実施形態と同様に、Ｓ２０４以降の処理を行うが、第３の実施形態では、撮影フレームレートが記録フレームレートの２倍に設定されている。そのため、記録する際のフレーム（動画用画像データ）を決定する方法が第１の実施形態および第２の実施形態と異なっている。ステップＳ２０９〜Ｓ２１４において、２倍速逆再生効果を施す際に、第１および第２の実施形態においてはＸ＝Ｘ−２を第２入してフレームを一枚飛ばしたが、本実施形態ではステップＳ４１０においてＸ＝Ｘ−４を代入して、フレームを３枚飛ばす。また、ステップＳ３１０〜Ｓ３１６のスロー再生効果を施す際に、第２の実施形態では、Ｓ３１４において同じフレームを繰り返し使用してから次のフレームに進んだ。しかし、本実施形態では、ステップＳ４２０において同じフレームを繰り返し使用せずにＸ＝Ｘ＋１を代入するので、フレームを１つずつ順番に使用して動画データを生成している。

このような動画撮影処理により撮影、記録されるデータについて図４Ｂを参照して説明する。

図４Ｂにおいて、４００１〜４０１１は、動画撮影開始から動画撮影終了までに撮影した動画用画像データを示しており、４００１’〜４０１１’は、それぞれ、４００１〜４０１１に動画圧縮処理を施して生成された動画データを示している。図４Ｂも、図２Ｂ、図３Ｂ、図３Ｃと同様に、図中の矢印線において、破線は動画圧縮処理をせずにデータを記録する場合を示しており、実線は動画圧縮処理を施してデータを記録する場合を示している。

まず、動画撮影開始から撮影終了までの期間Ｔ３に、撮影フレームレート（５９．９４ｆｐｓ）で撮影され、４００１〜４０１１の動画用画像データが生成される（Ｓ４００）。撮影開始から撮影終了までに撮影された動画用画像データ４００１〜４０１１について、奇数番目の動画用画像データのみ、つまり、２枚に１枚が動画圧縮処理が施されて（Ｓ２０２）、生成された動画データが外部記録媒体９１に記録される（Ｓ２０３）。撮影フレームレートに対して、記録フレームレートが１／２倍なので、撮影して得られた動画用画像データのうちの１／２について動画圧縮処理を施して記録することにより、撮影と記録でフレームレートは異なるが、撮影時間と再生時間とが同じになる。つまり、再生効果のない通常動画が記録される。

撮影開始から時間Ｔ１を経過した後、撮影終了までの期間Ｔ２においては、この通常動画の記録だけでなく、動画圧縮処理を施していない撮影して得られた動画用画像データをメモリ２５一時保存する処理も行う。

そして、撮影終了後に、メモリ２５に一時保存されている動画用画像データを、保存された順から逆に３枚飛ばして動画圧縮処理して通常動画の後に連結して記録する（Ｓ２０９〜Ｓ２１２、Ｓ４１０、Ｓ２１４）。つまり、動画用画像データが４枚に１枚の割合で記録される。撮影フレームレートが記録フレームレートの２倍であるのに対し、撮影フレームのうちの１／４が記録されているので、記録される画像は、２倍速再生効果が施されることになる。また、保存された順から逆に記録していくので、２倍速逆再生効果が施された動画が外部記録媒体９１に記録される。

そしてその後、メモリ２５に一時保存されている動画用画像データを、保存された順で読み出し、動画用画像データに動画圧縮処理して２倍速早戻し動画に続けて記録する（Ｓ３１０〜Ｓ３１３、Ｓ４１２、Ｓ３１６）。記録フレームレートに対して、撮影フレームレートは２倍であり、撮影で得られた動画用画像データを飛ばさずに順に記録するため、１１／２倍速スロー再生効果が施された１／２倍速スロー動画が、２倍速早戻し動画に続けて記録されることになる。

第２の実施形態では、スロー再生効果を施すために、同じ動画用画像データ（フレーム）を２回使用した。しれに対し、本実施形態では、同じフレームを使用せずに、撮影フレ―ムレートを記録フレームレートの２倍にしてスロー再生効果で使用するフレームを撮影により取得するようにした。そのため、高画質なスロー再生効果を施すことが可能となる。

本実施形態では、１／２倍速スロー再生効果を施すため、撮影フレームレートを記録フレームレートの２倍にしたが、スロー再生効果を施す際のスロー倍速に応じて撮影フレームレートの倍率を変更してもよい。

〔その他の実施形態〕
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

上述の実施形態で説明した全ての動画撮影処理を１つのデジタルカメラにおいて実現可能としてもよい。このとき、動画撮影においてどの動画撮影処理を適応するかを、ユーザの選択操作、システム制御回路５０においてランダムに選択、あるいは、画像の解析結果を用いてシステム制御回路５０選択するように構成するとよい。

また、上述の実施形態では、本発明を実現するデジタルカメラについて説明したが、他の装置、例えば、カメラ付き携帯電話や携帯端末、ゲーム機等に本発明を実現してもよい。また、カメラを有する撮像装置と撮像装置で撮影した画像を記録する記録装置等を接続したシステムで本発明を実現じてもよい。この場合いずれかの装置が主導して各装置を制御することにより、上述のフローを実現させるとよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims (11)

1. 動画を撮影する撮影部と、
   前記撮影部により撮影した動画に対して、再生効果を施す画像処理手段と、
   前記撮影部により撮影した動画を記録媒体に記録するように制御する制御手段と、
   前記撮影部による動画の撮影中に、圧縮処理されていない非圧縮動画データの一時保存を行う一時保存手段と、を備え、
   前記一時保存手段は、前記記録媒体に記録すべき動画の撮影開始から所定時間が経過したことに応じて、圧縮処理されていない前記非圧縮動画データの一時保存を開始し、
   前記画像処理手段は、前記一時保存手段により一時保存した非圧縮動画データを用いて、前記記録媒体に記録される再生効果を施していない通常動画のうちの一部の期間の動画に対して再生効果を施し、
   前記制御手段は、前記通常動画と、当該通常動画のうちの一部の期間の動画に対して再生効果が施された再生効果動画とを連結して、一連の動画データとして前記記録媒体に記録するように制御することを特徴とする撮像装置。
2. 前記画像処理手段は、前記通常動画のうちの一部の期間の動画に対して複数種類の再生効果を施して、複数の再生効果動画を生成し、
   前記制御手段は、前記通常動画と、前記複数の再生効果動画とを連結して、一連の動画として前記記録媒体に記録するように制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記通常動画の後に、前記画像処理手段により再生効果を施した前記再生効果動画を連結して記録するように制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像処理手段は、前記通常動画のうちの一部の期間の動画に早戻し効果を施した早戻し再生動画を生成し、
   前記制御手段は、前記通常動画の後に、前記早戻し再生動画を連結して、一連の動画として前記記録媒体に記録するように制御することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記画像処理手段は、前記通常動画のうちの一部の期間の動画に対して、早戻し効果を施した早戻し再生動画と、スロー再生効果を施したスロー再生動画とを生成し、前記制御手段は、前記通常動画の後に、前記早戻し再生動画とスロー再生動画とを連結して、一連の動画として前記記録媒体に記録するように制御することを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
6. 前記画像処理手段により施される再生効果は、早送り再生効果、早戻し再生効果、スロー再生効果、スロー戻し再生効果のうちの少なくとも１つであることを特徴とする請求項１に記載の撮像装置。
7. 前記画像処理手段は、前記記録媒体に記録すべき動画の撮影が終了したことに応じて、前記一時保存手段により一時保存した非圧縮動画データを用いて前記再生効果を施した再生効果動画を生成することを特徴とする請求項１に記載の撮像装置。
8. 撮影して得られた動画を記録する記録装置の制御方法であって、
   動画に対して再生効果を施す画像処理工程と、
   動画を記録媒体に記録するように制御する制御工程と、
   前記動画の撮影中に、圧縮処理されていない非圧縮動画データの一時保存を行う一時保存工程と、を備え、
   前記一時保存工程では、前記記録媒体に記録すべき動画の撮影開始から所定時間が経過したことに応じて、圧縮処理されていない前記非圧縮動画データの一時保存を開始し、前記画像処理工程では、前記一時保存工程で一時保存した非圧縮動画データを用いて、前記記録媒体に記録される通常動画のうちの一部の機関の動画に対して再生効果を施し、前記制御工程では、前記通常動画と、画像処理工程において前記通常動画のうちの一部の期間の動画に対して再生効果が施された再生効果動画とを連結して、一連の動画データとして前記記録媒体に記録するように制御することを特徴とする記録装置の制御方法。
9. コンピュータを、請求項１ないし７のいずれか１項の撮像装置の各手段として機能させるためのプログラム。
10. 請求項８に記載の記録装置の制御方法をコンピュータに実行させるためのプログラム。
11. 請求項９または１０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images