JP6341814B2 - 撮像装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、及びプログラムに関する。

デジタルカメラ等の撮像装置の中には、魚眼レンズで撮影したような効果、画像の上下をぼかしたジオラマ風効果、画像を適度にぼかしたソフトフォーカス効果などの特殊効果を画像処理により付加した静止画を撮影する機能を有するものがある。また、このような特殊効果を画像処理により付加した動画像を撮影する機能を有する撮像装置が提案されている（特許文献１）。

また、従来から、動画再生時のフレームレートとは異なるフレームレートで動画を撮影することで、再生時に早送りやスローで再生される動画を生成する技術が知られている。再生時に早送りやスローで再生される動画を撮影する場合、動画再生時のフレームレートとは異なるフレームレートで撮影が行われるため、再生される動画と撮影時にライブビュー表示される動画とでは、移動する被写体の見え方などが異なる。

特開２００６−３４００７０号公報

上述の通り、再生時に早送りやスローで再生される動画を記録する際に、画像処理により特殊効果を付加する場合、再生される動画と撮影時にライブビュー表示される動画とで見え方が異なる。そのため、特殊効果の種類によっては、記録される動画に付加する特殊効果と同じものをライブビュー表示される動画に付加すると、ライブビュー表示を見るユーザが違和感を覚える可能性がある。

また、ライブビュー表示される動画は、動画撮影のための電子ファインダーとしての役割も持つ。そのため、特殊効果の種類によっては、早送りやスローでの再生が行われるか否かに関わらず、記録される動画に付加する特殊効果と同じものをライブビュー表示される動画に付加することが不適切である可能性がある。

本発明はこのような状況に鑑みてなされたものであり、表示用動画に付加する特殊効果を、記録用動画に付加する複数の特殊効果のうちの一部に制限する技術を提供することを目的とする。

上記課題を解決するために、本発明は、動画を撮影する撮影手段と、前記動画に第１の特殊効果を付加することにより第１の動画を生成し、前記第１の動画に第２の特殊効果を付加することにより第２の動画を生成する画像処理手段と、を備え、前記画像処理手段は、前記第２の特殊効果が付加されていない前記第１の動画から、表示手段に表示するための表示用動画を生成し、前記第２の動画から、記録手段に記録するための記録用動画を生成するものであって、前記第２の特殊効果は、前記動画において移動する被写体に対して残像を付加する処理により得られる効果を含むことを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、表示用動画に付加する特殊効果を、記録用動画に付加する複数の特殊効果のうちの一部に制限することが可能となる。

撮像装置１０の外観図。 撮像装置１０の機能ブロック図。 第１の実施形態に係る、撮像装置１０による動画撮影処理のフローチャート。 動画の記録パターンを示す図。 第２の実施形態に係る、撮像装置１０による動画撮影処理のフローチャート。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１０の外観図であり、図２は、撮像装置１０の機能ブロック図である。コネクタ１１２は、接続ケーブルと撮像装置１０とをつなぐ。記録媒体２０は、メモリカード、光ディスク、又はハードディスク等のランダムアクセス可能な記録媒体であり、撮像装置１０に対して着脱可能である。記録媒体スロット２０１は、記録媒体２０を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２０は、撮像装置１０との通信が可能となる。蓋２０３は、記録媒体スロット２０１の蓋である。

ＣＰＵ（中央演算装置）１１は、撮像装置１０の各機能ブロックや、機能ブロック間のデータフローなどを制御する。ＲＯＭ１２には、ＣＰＵ１１の処理手順に係るプログラム（ファームウェア）及び各種情報が格納されている。

表示部１３は、カラー液晶表示器等で構成され、画像を表示し、グラフィカルユーザインタフェースを表示するために用いられる。表示部１３は、ＴＶ等の外部表示装置に映像信号を出力する端子も備えている。

操作部１４は、ユーザからの指示を受け付ける、レリーズボタン及び動画記録開始ボタン等の各種ボタンや、十字キー、コントロールホイール、及びダイヤルスイッチなどからなる。

ＤＲＡＭ１５は、ＣＰＵ１１のワークエリアとして使用され、画像データや表示用データ、画像圧縮後のデータなどを一時記憶するバッファ機能を有する。通常は、ＤＲＡＭ１５との間にメモリーコントローラを介してデータの書き込みや読み出しを行うが、ここでは図示していない。また、図示しないが、各機能ブロックとＤＲＡＭ１５との間には、ＣＰＵ１１によるＲｅａｄ／Ｗｒｉｔｅを介さないＤＭＡ転送を行うための、ＤＭＡコントローラが備えられている。

記録媒体インタフェース（Ｉ／Ｆ）１６は、ＣＰＵ１１からの指示に従い、記録媒体２０に対する画像データの書き込み及び読み出しを行う。ＣＰＵ１１、ＤＲＡＭ１５、及び記録媒体Ｉ／Ｆ１６が、撮影画像である静止画及び動画を記録媒体２０に記録する記録手段として機能する。

撮像部１７は、レンズ、絞り、シャッタ、及びＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子からなる。

画像処理回路１８は、撮像部１７から読み出される画像データに対し、ホワイトバランス調整、画素補間等の処理を行い、ＹＵＶデータに変換する。また、画像処理回路１８は、画像データを任意のサイズにリサイズし、表示部１３に表示する表示用画像データや画像圧縮伸長回路１９で圧縮する圧縮用画像データを生成する。また、画像処理回路１８は、画像データに対して、色・階調変換効果、周辺光量上げ／下げ効果、及び残像効果などを付加するために、色・階調フィルタ処理、テンプレート画像合成処理、及び巡回フィルタ処理等の特殊効果処理を行う。

画像圧縮伸長回路１９は、ＹＵＶデータをＪＰＥＧ又はＨ．２６４形式の画像データに圧縮し、また、ＪＰＥＧ又はＨ．２６４形式の圧縮された画像データをＹＵＶデータに伸長する。

ＣＰＵ１１、ＲＯＭ１２、表示部１３、操作部１４、ＤＲＡＭ１５、記録媒体Ｉ／Ｆ１６、撮像部１７、画像処理回路１８、及び画像圧縮伸長回路１９は、内部バス３０を介して通信する。

次に、本実施形態の動画撮影処理について説明する。撮像装置１０は、動画を撮影し、色・階調変換効果、周辺光量上げ／下げ効果、及び残像効果などの特殊効果を付加した動画を記録することができる。色・階調変換効果は、動画の色及び階調のうちの少なくとも一方を変換する処理により得られる効果である。周辺光量上げ／下げ効果は、動画の周辺光量を変更する処理により得られる効果である。残像効果は、動画において移動する被写体に対して残像を付加する処理により得られる効果である。

また、撮像装置１０は、動画撮影時のフレームレート（撮影フレームレート）を、動画ファイルのフレームレート、つまり動画再生時のフレームレート（再生フレームレート）とは異なる値にすることができる。更に、撮像装置１０は、フレームの記録割合（撮影される動画のフレームのうち記録されるフレームの割合）を制御することができる。撮影フレームレート及び記録割合の制御により、所定の部分（動画の全体又は一部）が早送り再生又はスロー再生される動画を記録することができる。

以下に詳述する通り、撮像装置１０は、特殊効果のうち色・階調変換効果及び周辺光量上げ／下げ効果については、表示用動画及び記録用動画の両方に付加する。これは、色・階調変換効果及び周辺光量上げ／下げ効果は、ライブビュー表示される動画においても、記録後に再生される動画においても、似たような見え方になると考えられるからである。一方、撮像装置１０は、特殊効果のうち残像効果については、表示用動画には付加せず、記録用動画にのみ付加する。これは、残像効果は、早送り再生又はスロー再生される動画を記録する場合に、ライブビュー表示される動画と記録後に再生される動画とでは、見え方が異なると考えられるからである。

図３は、第１の実施形態に係る、撮像装置１０による動画撮影処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、ＣＰＵ１１がＲＯＭ１２に格納されたプログラムを実行することにより実現される。操作部１４の動画記録開始ボタンの操作により、ユーザが動画記録開始を指示すると、本フローチャートの処理が開始する。

Ｓ１０１で、ＣＰＵ１１は、記録する動画を等速にするか早送りやスローにするか、及び、全編に渡って早送りやスローにするか、又は一部分を早送りやスローにするかといった、記録パターンを決定し、ＤＲＡＭ１５に記憶する。記録パターンは、例えば、撮像装置１０や被写体の動き、被写体が人物かどうか、被写界の明るさや色といった情報から撮像装置１０が自動で決定する。或いは、記録開始前に設定メニュー等によりユーザが記録パターンを選択可能なように撮像装置１０を構成してもよい。図４を参照して、記録パターンの一例を説明する。図４（ａ）乃至（ｅ）のいずれにおいても、再生フレームレートは３０ｆｐｓであるものとする。

図４（ａ）は、全編等速記録を示す。この場合、撮像装置１０は、撮像部１７のキャプチャフレームレート（撮影フレームレート）を３０ｆｐｓとして、キャプチャしたフレーム４０１の全フレームを圧縮用フレーム４０２として使用する。図４（ｂ）は、全編早送り記録を示す。この場合、撮像装置１０は、撮像部１７のキャプチャフレームレートを３０ｆｐｓとして、キャプチャしたフレーム４０３を１／２に間引いて圧縮用フレーム４０４として使用する。図４（ｃ）は、全編スロー記録を示す。この場合、撮像装置１０は、撮像部１７のキャプチャフレームレートを９０ｆｐｓとして、キャプチャしたフレーム４０５の全フレームを圧縮用フレーム４０６として使用する。図４（ｄ）は、後半分早送り記録を示す。この場合、撮像装置１０は、撮像部１７のキャプチャフレームレートを動画記録中３０ｆｐｓ一定とする。そして、撮像装置１０は、等速期間４０８においては、キャプチャしたフレーム４０７の全フレームを圧縮用フレーム４０９として使用し、早送り期間４１０においては、キャプチャしたフレーム４０７を１／２に間引いて圧縮用フレーム４１１として使用する。図４（ｅ）は、後半分スロー記録を示す。この場合、撮像装置１０は、撮像部１７のキャプチャフレームレートを動画記録中９０ｆｐｓ一定とする。そして、撮像装置１０は、等速期間４１３においては、キャプチャしたフレーム４１２を１／３に間引いて圧縮用フレーム４１４として使用し、スロー期間４１５においては、キャプチャしたフレーム４１２の全フレームを圧縮用フレーム４１６として使用する。このように、撮像装置１０は、撮影フレームレート及び間引きの度合い（フレームの記録割合）を制御することにより、所定の部分（動画の全体又は一部）が早送り再生又はスロー再生される動画を記録することができる。

図３に戻り、Ｓ１０２で、ＣＰＵ１１は、記録する動画に付加する特殊効果パターンを決定し、ＤＲＡＭ１５に記憶する。具体的には、ＣＰＵ１１は、色・階調変換効果の有無、及び周辺光量上げ／下げ効果の有無を決定する。また、Ｓ１０１において決定された記録パターンに早送りやスローが含まれる場合には、ＣＰＵ１１は、残像効果の有無も決定する。特殊効果パターンは、記録パターンと同様、撮像装置１０や被写体の動き、被写体が人物かどうか、被写界の明るさや色といった情報から撮像装置１０が自動で決定する。或いは、記録開始前に設定メニュー等によりユーザが特殊効果パターンを選択可能なように撮像装置１０を構成してもよい。

Ｓ１０３で、ＣＰＵ１１は、Ｓ１０１において決定されＤＲＡＭ１５に記憶された記録パターンを参照して、記録パターンが等速のみを含むか、早送りを含むか、又はスローを含むかを判定する。記録パターンが等速のみを含むか、又は早送りを含む場合、Ｓ１０４で、ＣＰＵ１１は、撮像部１７のキャプチャフレームレートを、動画再生時のフレームレートと同じ３０ｆｐｓに設定する。記録パターンがスローを含む場合、Ｓ１０５で、ＣＰＵ１１は、撮像部１７のキャプチャフレームレートを動画再生時のフレームレートより早い９０ｆｐｓに設定する。

Ｓ１０４又はＳ１０５の処理の後、Ｓ１０６で、ＣＰＵ１１は、撮像部１７により撮像される画像を動画フレームとしてキャプチャする。そして、ＣＰＵ１１は、画像処理回路１８を用いて、キャプチャされた動画フレームの画像データに対して、ホワイトバランス調整、画素補間等の処理を施し、ＹＵＶデータに変換し、ＤＲＡＭ１５に書き込む。

Ｓ１０７で、ＣＰＵ１１は、Ｓ１０２において決定されＤＲＡＭ１５に記憶された特殊効果パターンを参照して、色・階調変換効果の有無を判定する。色・階調変換効果がある場合、処理はＳ１０８に進み、色・階調変換効果がない場合、処理は、Ｓ１０９に進む。

Ｓ１０８で、ＣＰＵ１１は、画像処理回路１８を用いて、ＹＵＶデータに色・階調フィルタ処理を施し、色・階調変換効果を付加する。

Ｓ１０９で、ＣＰＵ１１は、Ｓ１０２において決定されＤＲＡＭ１５に記憶された特殊効果パターンを参照して、周辺光量上げ／下げ効果の有無を判定する。周辺光量上げ／下げ効果がある場合、処理はＳ１１０に進む。周辺光量上げ／下げ効果がない場合、処理はＳ１１１に進む。

Ｓ１１０で、ＣＰＵ１１は、画像処理回路１８を用いて、ＹＵＶデータにテンプレート画像合成処理を施し、周辺光量上げ／下げ効果を付加する。

Ｓ１１１で、ＣＰＵ１１は、画像処理回路１８を用いて、ＹＵＶデータに対し、表示用画像データサイズへのリサイズ処理等を施し、表示部１３にライブビュー表示するための電子ファインダー表示用画像データを生成し、ＤＲＡＭ１５に書き込む。

表示用画像データの生成に伴い、Ｓ１１２で、ＣＰＵ１１は、表示部１３に表示用画像データを表示させる。即ち、表示部１３のライブビュー表示画像が更新される。

Ｓ１１３で、ＣＰＵ１１は、Ｓ１０１において決定されＤＲＡＭ１５に記憶された記録パターンを参照して、現在のフレームが早送り期間又はスロー期間に含まれるか否かを判定する。現在のフレームが早送り期間又はスロー期間に含まれる場合、処理はＳ１１４に進む。現在のフレームが早送り期間又はスロー期間に含まれない場合、処理はＳ１１６に進む。

Ｓ１１４で、ＣＰＵ１１は、Ｓ１０２において決定されＤＲＡＭ１５に記憶された特殊効果パターンを参照して、残像効果の有無を判定する。残像効果がある場合、処理はＳ１１５に進む。残像効果がない場合、処理はＳ１１６に進む。

Ｓ１１５で、ＣＰＵ１１は、画像処理回路１８を用いて、ＹＵＶデータに巡回フィルタ処理を施し、残像効果を付加する。

Ｓ１１６で、ＣＰＵ１１は、画像処理回路１８を用いて、ＹＵＶデータから動画圧縮用データを生成し、ＤＲＡＭ１５に書き込む。

Ｓ１１７で、ＣＰＵ１１は、Ｓ１０１において決定されＤＲＡＭ１５に記憶された記録パターンを参照して、現在のフレームが破棄フレームか否かを判定する。破棄フレームは、例えば、図４（ｂ）、図４（ｄ）、及び図４（ｅ）に示されるように、撮影されるが記録されないフレームである。現在のフレームが破棄フレームである場合、処理はＳ１２０に進む。この場合、現在のフレームは記録されない。現在のフレームが破棄フレームでない場合、処理はＳ１１８に進む。

Ｓ１１８で、ＣＰＵ１１は、Ｓ１１６において生成された動画圧縮用データを、画像圧縮伸長回路１９を用いてＭＰＥＧやＭｏｔｉｏｎＪＰＥＧ形式で圧縮する。

Ｓ１１９で、ＣＰＵ１１は、Ｓ１１８において圧縮された動画データを、記録媒体Ｉ／Ｆ１６を介して、記録媒体２０に記録する。

Ｓ１２０で、ＣＰＵ１１は、所定の動画記録時間が経過したか否かを判定する。所定の動画記録時間が経過してないと判定された場合、処理はＳ１０６に戻り、ＣＰＵ１１は、次の動画フレームについて同様の処理を行う。所定の動画記録時間が経過したと判定された場合、ＣＰＵ１１は、動画撮影処理を終了する。

以上の処理により、特殊効果のうち色・階調変換効果及び周辺光量上げ／下げ効果については、表示用動画及び記録用動画の両方に付加される。一方、特殊効果のうち残像効果については、表示用動画には付加されず、記録用動画にのみ付加される。このように、本実施形態によれば、表示用動画に付加する特殊効果が、記録用動画に付加する複数の特殊効果のうちの一部に制限される。

前述の通り、色・階調変換効果及び周辺光量上げ／下げ効果は、ライブビュー表示される動画においても、記録後に再生される動画においても、似たような見え方になると考えられる。また、残像効果は、ライブビュー表示される動画と記録後に再生される動画とでフレームレートが異なる場合には、これらの動画間で見え方が異なると考えられる。従って、本実施形態によれば、より自然でユーザに与える違和感の少ないライブビュー表示を行うことが可能となる。

しかしながら、特殊効果の見え方に関する考え方は、上記の考え方に限定されない。従って、表示用動画及び記録用動画の両方に付加する特殊効果（第１の特殊効果）と、記録用動画にのみ付加する特殊効果（第２の特殊効果）との分類は、本実施形態において説明したものに限定されない。例えば、周辺光量上げ／下げ効果については、表示用動画には付加せず、記録用動画にのみ付加してもよい。

また、記録用動画に付加する特殊効果は、色・階調変換効果、周辺光量上げ／下げ効果、及び残像効果に限定されず、撮像装置１０は、他の種類の特殊効果を記録用動画に付加してもよい。

ところで、図３のフローチャートに従うと、残像効果は、記録用動画のうち、早送り期間又はスロー期間に含まれる部分にしか付加されない。しかしながら、早送り期間又はスロー期間に含まれる部分以外の部分にも残像効果を付加するように撮像装置１０を構成してもよい。換言すると、撮像装置１０は、記録パターンに早送り又はスローが含まれるか否かに関わらず、記録用動画に残像効果を付加してもよい。

［第２の実施形態］
第１の実施形態では、図４に示すように、撮影フレームレートの制御及び記録割合の制御の組み合わせにより、記録される動画の再生速度を制御する構成について説明した。これに対し、第２の実施形態では、記録割合の制御は行わず、撮影フレームレートの制御により、記録される動画の再生速度を制御する構成について説明する。

第２の実施形態において、撮像装置１０の基本的な構成は、第１の実施形態と同様である（図１及び図２参照）。以下、主に第１の実施形態と異なる点について説明する。

図５は、第２の実施形態に係る、撮像装置１０による動画撮影処理のフローチャートである。図５において、図３と同一又は同様の処理が行われるステップには同一の符号を付す。本フローチャートの各ステップの処理は、特に断らない限り、ＣＰＵ１１がＲＯＭ１２に格納されたプログラムを実行することにより実現される。操作部１４の動画記録開始ボタンの操作により、ユーザが動画記録開始を指示すると、本フローチャートの処理が開始する。

Ｓ２０３で、ＣＰＵ１１は、Ｓ１０１において決定されＤＲＡＭ１５に記憶された記録パターンを参照して、現在のフレームが等速期間、スロー期間又は早送り期間のいずれに含まれるかを判定する。現在のフレームが等速期間に含まれる場合、Ｓ２０４で、ＣＰＵ１１は、撮像部１７のキャプチャフレームレートを、動画再生時のフレームレートと同じ３０ｆｐｓに設定する。現在のフレームがスロー期間に含まれる場合、Ｓ２０５で、ＣＰＵ１１は、撮像部１７のキャプチャフレームレートを動画再生時のフレームレートより早い９０ｆｐｓに設定する。現在のフレームが早送り期間に含まれる場合、Ｓ２０６で、ＣＰＵ１１は、撮像部１７のキャプチャフレームレートを動画再生時のフレームレートより遅い１５ｆｐｓに設定する。

Ｓ２０４，Ｓ２０５、又はＳ２０６の処理の後、第１の実施形態と同様、Ｓ１０６以降の処理が行われる。但し、第１の実施形態と異なり、Ｓ１１７における破棄フレームの判定は行われない。また、Ｓ１２０において所定の動画記録時間が経過していないと判定された場合、処理はＳ１０６ではなくＳ２０３に戻る。そのため、第２の実施形態においては、動画撮影中に、現在のフレームが等速期間、スロー期間又は早送り期間のいずれに含まれるかに応じて、撮影フレームレートが変化する。また、撮影されたフレームは全て記録される。

このように、第２の実施形態では、撮像装置１０は、記録割合の制御は行わず、撮影フレームレートの制御により、記録される動画の再生速度を制御する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０…撮像装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…表示部、１４…操作部、１５…ＤＲＡＭ、１６…記録媒体Ｉ／Ｆ、１７…撮像部、１８…画像処理回路、１９…画像圧縮伸長回路、２０…記録媒体

Claims (6)

1. 動画を撮影する撮影手段と、
   前記動画に第１の特殊効果を付加することにより第１の動画を生成し、前記第１の動画に第２の特殊効果を付加することにより第２の動画を生成する画像処理手段と、
   を備え、
   前記画像処理手段は、前記第２の特殊効果が付加されていない前記第１の動画から、表示手段に表示するための表示用動画を生成し、前記第２の動画から、記録手段に記録するための記録用動画を生成するものであって、
   前記第２の特殊効果は、前記動画において移動する被写体に対して残像を付加する処理により得られる効果を含むことを特徴とする撮像装置。
2. 前記記録用動画の所定の部分が再生時に早送り再生又はスロー再生されるように、前記撮影手段の撮影フレームレート、又は、前記撮影手段の撮影フレームレート及び前記撮影手段により撮影される動画のフレームのうち前記記録手段に記録されるフレームの割合、を制御する制御手段を更に備え、
   前記画像処理手段は、前記記録用動画の前記所定の部分に対応する前記第１の動画の部分に、前記第２の特殊効果を付加することにより前記第２の動画を生成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記所定の部分は、前記記録用動画の全体である
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記第１の特殊効果は、前記動画の色及び階調のうちの少なくとも一方を変換する処理により得られる効果、及び前記動画の周辺光量を変更する処理により得られる効果のうちの少なくとも一方を含む
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 撮像装置の制御方法であって、
   動画を撮影する撮影工程と、
   前記動画に第１の特殊効果を付加することにより第１の動画を生成する工程と、
   前記第１の動画に第２の特殊効果を付加することにより第２の動画を生成する工程と、
   前記第２の特殊効果が付加されていない前記第１の動画から、表示手段に表示するための表示用動画を生成する工程と、
   前記第２の動画から、記録手段に記録するための記録用動画を生成する工程と、
   を備え、
   前記第２の特殊効果は、前記動画において移動する被写体に対して残像を付加する処理により得られる効果を含むことを特徴とする制御方法。
6. コンピュータを、請求項１乃至４のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images