JP2010272999A - 撮像装置 - Google Patents

Abstract

【課題】
撮影者の意図を反映したフレームレートの変更を可能にし、既存の視聴再生環境との互換性を確保する。
【解決手段】
撮像部１０は、標準フレームレートより高いフレームレートで映像信号を出力する。ズーム操作中、又はその前後を含む期間には、高い記録フレームレートで撮像部１０からの映像信号を記録媒体（４８）に記録し、この期間以外の期間では、標準フレームレートで映像信号を記録媒体（４８）に記録する。記録フレームレートとズーム操作情報をメタデータとして記録媒体（４８）に記録する。再生時には、ズーム操作中の記録映像に対し、設定された再生モードに応じて映像信号を標準フレームレートに間引いて出力する。
【選択図】 図１

Description

本発明は、ビデオカメラ又はデジタルカメラ等の、動画像を記録する撮像装置に関する。

特開２００３−２７４３６０公報 特開２００７−１３４９９１公報

近年、高品位映像信号、いわゆるＨＤ（High Definition）映像信号又はＨＤ信号を記録再生可能な記録再生装置や、映像表示可能な映像表示装置が、普及している。この背景技術として、撮像処理系においては、撮像素子の微細化又は高画素化と高速転送処理化、さらには、Ｈ．２６４規格に代表される高能率符号化技術がある。また、映像表示装置では、液晶式、プラズマ式、そしてＥＬ（Electro-Luminous）式などで、薄型化、高精細化、大画面化そしてモバイル化が推し進められている。

多様な表示機器を利用可能になったことで、ユーザの視聴スタイルが大きく変化している。高品位映像を目指す層や、ショートムービーを手軽にやり取りする層など、目的に応じて映像の取り扱いが多彩になっている。こうした潮流を支えるのは、膨大な映像データを取り扱うストレージ技術である。特に、ハードディスクは大容量化と低コスト化が目覚しく、半導体メモリがこれに続いている。さらに、大容量のリムーバブルメディアやテラバイトオーダーのサーバが安価に利用可能になっている。

こうした背景のもと、撮像技術では、２９．９７フレーム／秒のＮＴＳＣに対して、１２０フレーム／秒、２４０フレーム／秒といった高フレームレートが提案されている。また、再生技術では、マルチ画面化、マルチ音声チャンネル化等がある。これらの技術により、臨場感あふれる映像表現が可能になっている。

固定のフレームレートで映像信号を記録する旧来の方式に対して、フレームレートを適応的に変更し、総記録データ量を効率的に抑えつつ、必要に応じて高品位映像を記録する技術が提案されている。

特許文献１には、撮影者が特別に意識することなく、撮像映像信号のフレームレートを制御する技術が記載されている。具体的には、撮影時の周囲音量レベルを監視し、所定量以上の音量が検知されたらフレームレートを上げることで重要なシーンを高品位で記録する。また、記録媒体の残容量が所定量以下になったらフレームレートを下げることで、記録媒体の消費を抑える。更には、バッテリ残量が所定量以下になったらフレームレートを下げることによって、バッテリの消費を節減する。

特許文献２には、撮影画像から動きを検出し、閾値以上の動き量のとき、高フレームレートで撮影画像を記録し、閾値未満の動き量のとき、低フレームレートで撮影画像を記録することが記載されている．

特許文献１、２に記載の技術は、フレームレートの変更が撮影者の意図を反映したものではない。

すなわち、特許文献１に記載の技術は、周囲音量、あるいは記録媒体やバッテリの残容量など、撮像装置の環境によりフレームレートを変更するものである。これは、撮影者の意図に反して撮像条件が変更されることを意味する。

また、特許文献２に記載の技術は、撮像信号から得られる動き情報を指標にしている。たとえば、空や夜景を含む単調なシーンの比率が大きくなると、動き量が少なく判定されるので、低フレームレートになる。他方、焦点距離の短いワイド映像では、手ブレによって動き量が多く検出されてしまいがちになるので、高フレームレートになる。いずれも、撮影者の意図とは無関係である。

通常のＴＶ受像機あるいは映像モニタは、固定フレームレートにのみ対応する。従って、フレームレートが途中で変更される映像信号が入力する場合、仮にそのフレームレートの変更に追従できるとしても、実時間に整合しない不自然な描画速度の映像になってしまうことがある。例えば、入力映像信号をそのフレームレートに関わらず一定レートで表示するモニタの場合、標準フレームレートより高フレームレートの映像はスローモーション描画となり、低フレームレートの映像はハイスピード描画になってしまう。

可変フレームレート記録は、こうした視聴再生環境の互換性を考慮していないので、利用環境が制限される。

本発明は、このような不都合を解消し、撮影者の意図を反映したフレームレートの変更を可能にし、既存の視聴再生環境との互換性を考慮した撮像装置を提示することを目的とする。

本発明に係る撮像装置は、光学像を画像信号に変換する撮像手段、及び、前記撮像手段に入射する光学像を光学的にズームするか、前記撮像手段の出力画像信号を電子的にズームするズーム手段を具備する撮像部と、前記撮像部により撮像された画像信号からなる映像信号を記録媒体に記録する記録手段であって、前記映像信号の前記記録媒体への記録フレームレート及び前記ズーム手段の前記ズーム操作情報を前記記録媒体に記録する記録手段と、前記ズーム手段を操作するズーム操作手段と、前記ズーム操作手段の操作に応じて、前記映像信号の前記記録媒体への記録フレームレートを制御する制御手段であって、前記ズーム操作手段の操作中を含む期間では、前記記録フレームレートを通常フレームレートよりも高くする制御手段と、設定された再生モードに従い、前記記録媒体から前記映像信号を再生する再生手段であって、前記ズーム操作情報に従い、前記ズーム操作手段の操作中を含む期間では、前記映像信号を間引いて前記通常フレームレートで再生出力する再生手段とを具備することを特徴とする。

本発明によれば、ズーム操作を加味した映像を再生出力することが可能になる。標準フレームレートで再生映像を出力するので、既存の映像表示装置との互換性を確保できる。
ズーム操作中を含む期間内では、通常フレームレートより高いフレームレートで記録し、再生出力の際に標準フレームレートに間引くので、高品位な再生映像を表示できる。

本発明の一実施例の概略構成ブロック図である。 本実施例でのズーム操作、撮像フレーム及び記録フレームの関係を説明する模式図である。 本実施例の記録動作のフローチャートである。 本実施例におけるズーム速度と記録フレームレートとの関係例を示す模式図である。 本実施例のメタデータの構造とデータ例の説明図である。 本実施例のズーム倍率と記録フレームとの対応関係の一例を示す説明模式図である。 フレームレート別の記録領域の説明図である。 本実施例の再生動作のフローチャートである。 ズーム操作を反映する再生モードの動作説明表である。 本実施例の再生モード１におけるフレーム補間の説明図である。 本実施例の再生モード２におけるフレーム補間の説明図である。 本実施例の再生モード３におけるフレーム補間の説明図である。 本実施例の再生モード５におけるフレーム補間の説明図である。 システム制御回路５０の機能ブロック図である。 第２実施例におけるズーム操作、撮像フレーム及び記録フレームの対応関係の説明図である。 第２実施例におけるズーム倍率と記録フレームとの対応関係の説明模式図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図を示す。図１を参照して、本実施例の構成と基本動作を説明する。

撮像部１０（カメラ部）は、以下の構成と機能からなる。すなわち、撮像光学系は、前玉レンズ１２、ズームレンズ１４、絞り１６、フォーカスレンズ１８からなる。前玉レンズ１２がレンズ鏡筒に固定され、ズームレンズ１４及びフォーカスレンズ１８は光軸方向に移動可能である。ズームレンズ１４とフォーカスレンズ１８の間に絞り１６が配置される。露出制御回路２０は、カメラ制御回路３０からの制御信号に従い、絞り１６の開口度を制御する。ズーム位置センサ２２が、ズームレンズ１４の位置を検出する。レンズ制御回路２４が、ズーム位置センサ２２の検出位置によりズームレンズ１４を帰還制御する。レンズ制御回路２４はまた、後述するカメラ制御回路３０からの指令信号に従うズーム位置及びフォーカス位置にそれぞれズームレンズ１４およびフォーカスレンズ１８を制御する。

撮像素子２６は、撮像素子駆動回路２８により駆動されて、撮像光学系による光学像を電気画像信号に変換する。撮像素子駆動回路２８は、カメラ制御回路３０からのタイミング信号に従い撮像素子２６を駆動し、画像信号の各画素信号を撮像素子２６から出力させる。撮像素子駆動回路２８の駆動信号周波数を上げることで、標準フレームレートより高いフレームレートに対応可能になる。サンプルホールド（Ｓ／Ｈ）回路３２は、撮像素子２６の出力画像信号を増幅し、カメラ制御回路３０（又は撮像素子駆動回路２８）からのタイミング信号に従いサンプルホールドする。Ａ／Ｄ変換器３４はＳ／Ｈ回路３２の出力信号をデジタル信号に変換し、カメラ信号処理回路３６に供給する。

カメラ信号処理回路３６は、カメラ制御回路３０で設定されたパラメータに従い、Ａ／Ｄ変換器３４からの画像データに色分離、階調補正及びホワイトバランス調整等など周知のカメラ信号処理を施すカメラ信号処理回路である。カメラ信号処理回路３６は、処理後の画像データを、データバス３８およびメモリ４０を介して圧縮伸長回路４４に供給する。

図２では、音声入力手段と、音声入力手段により入力された音声信号の処理系を省略してあるが、入力音声データは、メモリ４０を介して圧縮伸長回路４４に供給される。圧縮伸長回路４４は、入力された画像データおよび音声データを、ＭＰＥＧ２（Moving Picture Experts Group 2）又はＨ.２６４などの動画像圧縮方式に従い圧縮符号化および多重化し、所定のフォーマットで出力する。

圧縮伸長回路４４で圧縮された映像音声データは、記録媒体制御回路４６により記録媒体４８に書込まれる。記録媒体４８は、例えばフラッシュメモリ等の不揮発性半導体メモリ、ハードディスク装置、又は、記録可能光ディスク等からなる。

カメラ制御回路３０は、システム制御回路５０からの指令に応じてレンズ制御回路２４、露出制御回路２０、撮像素子駆動回路２８及びカメラ信号処理回路３６の動作を制御する。

システム制御回路５０は中央演算処理機能（ＣＰＵ）を備え、操作部５２のユーザ操作、設定値又は動作状態に従って、各部を制御する。例えば、システム制御回路５０は、カメラ制御回路３０を介して撮像動作を制御し、記録媒体制御回路４６を介して記録媒体４８へのデータ記録再生を制御する。もちろん、システム制御回路５０は、所定のプログラムを実行することにより、全体を統括制御する。

外部Ｉ／Ｆ５４は、外部端子５６に接続する外部機器との間で所定フォーマットの信号を送受する。外部端子５６には、ＩＥＥＥ１３９４、ＵＳＢ（Universal Serial Bus）及び／又はＨＤＭＩ（High-Definition Multimedia Interface）がある。信号フォーマットには、種々の解像度及びフレームレートのアナログ映像信号（Audio/Video）及びデジタル映像信号がありうる。

操作部５２はユーザインタフェースとして、撮像記録を行なう際のシャッタボタン、ズームボタン、電源オン／オフボタン、及び記録開始／停止ボタンを有する。また、メニュー選択とパラメータ設定等のための、セレクトボタン、決定ボタン及びキャンセルボタン等を有する。

表示装置６０は、表示制御回路５８によって駆動され、撮像映像及び再生映像のモニタとして、また、ユーザへの様々な管理情報の表示手段として使用される。

メモリ４０はデータバス３８を介して各機能ブロックで共有される。メモリ４０は、ＲＯＭおよび／又はＲＡＭからなる。データバス３８に接続する各機能ブロックは、メモリ制御回路４２を経由してメモリ４０にデータを書き込みでき、データを読み出すことができる。

記録媒体４８に記録される映像音声データは、次にように再生される。すなわち、記録媒体制御回路４６は、記録媒体４８から読み出した圧縮データを圧縮伸長回路４４に供給する。圧縮伸長回路４４は、入力する圧縮データを伸長して、映像データ及び音声データを復元する。このように再生された映像データは、表示制御回路５８により表示装置６０に供給され、再生画像として表示される。表示装置６０は、例えば、液晶表示パネルや、有機発光デバイス等からなる。再生音声は、図示しないスピーカから出力される。再生された映像データ及び音声データはまた、必要により外部Ｉ／Ｆ５４及び外部端子５６を介して外部に出力される。

記録媒体４８に記録する映像データのフレームレート制御を説明する。図２は、メモリ４０に一時格納される撮像フレームと記録媒体４８に記録される記録フレームとの関係を示す。図２（ａ）は、操作部５２による撮像時のズーム操作のタイミングを示す。図２（ｂ）は、メモリ４０に一時格納される撮像フレームを示す。図２（ｃ）は、記録媒体４８に記録される記録フレームを示す。

図２（ａ）において、ズームオン区間で、撮影者によるズーム操作がなされた区間を示し、ズームオフ区間はズーム操作されていない区間を示す。カメラ制御回路３０は、図２（ｂ）に示すように、ズームオンかズームオフかに関わらず、１／２４０秒のレートで撮像素子２６を動作させる。これにより、各フレーム画像データが１／２４０秒のフレームレートでメモリ４０に一時格納される。カメラ制御回路３０は、記録媒体制御回路４６を制御して、メモリ４０のフレーム画像を、図２（ｃ）に示すように、記録媒体４８に書き込ませる。すなわち、ズームオフ区間では、メモリ４０のフレーム画像は１／４に間引きされ、通常の１／６０秒のフレームレートのフレーム画像が記録媒体４８に書き込まれる。ズームオン区間では、メモリ４０に格納される１／２４０秒のフレームレートのフレーム画像が記録媒体４８に書き込まれる。

図３は、記録フレームレート制御の動作フローを示す。システム制御回路５０は、操作部５２におけるズーム操作を監視している。記録動作中にズーム操作を検出すると（Ｓ１）、システム制御回路５０は、ステップＳ２〜Ｓ５を実行し、ズーム操作がなければ（Ｓ１）、ステップＳ２〜Ｓ５を迂回する。

ズーム操作を検出すると、（Ｓ１）、システム制御回路５０は、ズーム速度を判定する（Ｓ２）。例えば、ズーム速度は、操作部５２におけるズームスイッチのユーザ操作の強さ加減又は操作時間長などで決定される。予めズーム速度がメニュー画面等により初期設定されていれば、それを参照する。すなわち、システム制御回路５０はズーム速度検出手段としても機能する。

システム制御回路５０は、ステップ２で判定されたズーム速度に基づいて、記録フレームレートを設定する（Ｓ３）。図４は、記録フレームレートとズーム速度との関係例を示す模式図である。図４に例示するように、ズーム速度が速ければ、記録フレームレートを高く設定し、ズーム速度が遅ければ、記録フレームレートを低く設定する。ズーム速度と記録フレームレートの関係は、図４に例示するようにズーム速度に応じてステップ状に切り換えても良いし、あるいは、直線的に切り換えても良い。ズーム速度と記録フレームレートとの関係は、予めテーブル化してメモリ４０（のＲＯＭ）に格納しておく。

システム制御回路５０は、メモリ４０の映像フレームデータに対しステップＳ３で設定された記録フレームレートに基づいて間引き処理を行ない、残るフレームを記録媒体４８に記録する（Ｓ４）。システム制御回路５０は、各フレームの映像データと共に、ズーム倍率情報及びフレームレート管理情報をメタデータとして記録媒体４８に記録する（Ｓ５）。

記録終了の操作があるまで（Ｓ６）、ステップＳ１〜Ｓ５を繰り返す。

ズーム速度に応じて記録フレームレートを変更することによって、低速ズームで撮像の際にはフレームレートを落して記録する。これにより、不要な撮像フレームの記録を避け、記録媒体４８の容量消費を抑制できる。高速ズームでの撮像の際には、ズーム動作中の被写体の高速変化に対して高フレームレートで追従するので、画角変化の大きい撮像シーンを高いサンプルレートで高品位に記録できる。

図５は、各フレームの映像データに付加されるメタデータの構造とデータの一例を示す。映像データは、ヘッダ部、メタデータ部及びデータ部からなる。ヘッダ部には、撮影機器、ファーマット情報及びサムネイル情報など、時刻によって変化しない基本情報が格納される。メタデータ部には、日付、時間、記録フレームレート及びシャッタ速度など、様々な撮像条件下で更新される情報が格納される。データ部には、所定フォーマットで符号化された画像データと音声データが格納される。メタデータは、ＸＭＬ（eXtensible Markup Language）又はＨＴＭＬ（Hyper Text Markup Language）等の記述言語によりメタデータ形式で映像データに埋め込まれる。メタデータをバイナリデータ又はウォーターマークとして付加してもよい。

図６は、本実施例の記録フレームレートとズーム倍率との関係を示す模式図を示す。図６で、横軸は時間を示し、縦軸はズーム倍率（撮像画角）を示す。二重丸（◎）で示すフレームは１／２４０秒間隔の撮像フレームを示し、白丸（〇）で示すフレームは１／６０秒間隔の撮像フレームを示す。本実施例では、白丸（〇）に示す１／６０秒間隔の撮像フレームは、ズーム操作の有無に関わらず、記録媒体４８に記録される。図６に示す例では、ズーム操作の間、すなわち、ズーム倍率が変化している時刻ｔ３〜ｔ９の期間では、通常より高レートとなる１／２４０秒間隔の撮像フレームが記録媒体４８に記録される。すなわち、ズーム操作中は１／２４０秒間隔で撮像フレームが記録され、ズーム操作していない時は、間引き処理によって１／６０秒間隔で撮像フレームが記録される。

再生互換性を確保するため、本実施例では、記録媒体４８への映像データの格納を次のように制御している。図７は、図６に示す映像例に対する記録媒体４８への記録アロケーションの一例を示す。

通常記録のフレームレート１／６０秒のフレームｔ１，ｔ２，ｔ３，・・・は、記録媒体４８の主格納エリアＡに蓄積される。他方、ズーム操作中にフレームレートが変更された高フレームレートのフレームｔ３，ｔ３ａ，ｔ３ｂ，ｔ３ｃ，ｔ４，・・・，ｔ９は、記録媒体４８のサブ格納エリアＳｕｂに蓄積される。このように、フレームレートが異なる映像データを分離して記録媒体４８に蓄積することによって、特殊再生機能のない装置でも、主格納エリアＡの映像データを再生することで、再生互換を保つことが出来る。主格納エリアＡとサブ格納エリアＳｕｂは、ファイル管理の論理上で区別されたものであり、物理的に記録位置が異なることまでは要しない。

図７では、サブ格納エリアＳｕｂに、主格納エリアＡにも格納されるフレームｔ３，ｔ４，ｔ５，・・・が記録されている。これは再生時の復号化処理の便宜のためであり、主格納エリアのフレームｔ３，ｔ４，ｔ５，・・・を利用できる場合には，サブ格納エリアＳｕｂに格納しなくてもよい。

本実施例の再生動作を説明する。本実施例では、異なるフレームレートの映像を補間又は間引き処理して再生することによって、ズーム操作の撮像シーンにズーム特殊再生効果を付与することができる。図８は、再生動作のフローチャートを示す。

システム制御回路５０は、操作部５２からの再生指示に従い、記録媒体４８から指示された映像ファイルのメタデータをファイル管理情報から読み出す（Ｓ１１）。システム制御回路５０は、メタデータを参照して、再生対象の映像ファイルに異なるフレームレートの映像が記録されているか否かを判断する（Ｓ１２）。

異なる記録フレームレートが混在しない場合（Ｓ１２）、通常の再生処理を実行する（Ｓ１６）。

異なる記録フレームレートが混在する場合（Ｓ１２）、システム制御回路５０は、ユーザによって予め設定されたズーム特殊再生効果に基づき、以下のように表示フレームと音声出力を制御する。図９は、ズーム操作を反映する特殊再生モードとその作用の対応表を示す。

リニア・スムーズ・モード（モード１）は、ユーザのズーム操作速度にムラがあっても、再生処理でズーム速度一定で再生画像を表示（描画）する再生補間モードである。リニア・スムーズ・モードでは、システム制御回路５０は、記録媒体４８の記録フレーム画像から均等なズーム倍率位置のフレームを選択する。そして、このように選択されたフレームが、通常フレームレートのタイミングで表示装置６０に表示出力される。

図１０は、リニア・スムーズ・モードでの表示フレームの模式図を示す。横軸は時間を示し、縦軸はズーム倍率（撮像画角）である。二重丸（◎）で示すフレームは、ズーム操作中の１／２４０秒間隔の記録フレームであり、白丸（〇）で示すフレームは、１／６０秒間隔の記録フレームである。ズーム倍率が変化している時刻ｔ３〜ｔ９の期間では、１／２４０秒間隔で撮像フレームが記録されている。ズーム操作していない時は、間引き処理によって１／６０秒間隔のフレームレートで撮像フレームが記録されている。撮像時、ワイド端からテレ端までのズーム操作期間でズーム速度が一定でなく、ムラが生じている。

図１０に示す例で具体的に説明する。リニア・スムーズ・モードで想定されている直線的なズーム倍率の変化に実際の記録フレームを当てはめ、通常フレームレートでの再生表示に使用するフレームを選択決定する。図１０に示す例では、時刻ｔ５ｃ，ｔ６ｃ，ｔ７ｃ，ｔ８ａ，ｔ８ｃのフレームが表示用に選択される。そして、時刻ｔ５ｃのフレームが、時刻ｔ４（黒丸で示すフレーム７０−１）に繰り上げて表示される。時刻ｔ６ｃのフレームが、時刻ｔ５（黒丸で示すフレーム７０−２）に繰り上げて表示される。時刻ｔ７ｃのフレームが、時刻ｔ６（黒丸で示すフレーム７０−３）に繰り上げて表示される。時刻ｔ８ａのフレームが、時刻ｔ７（黒丸で示すフレーム７０−４）に繰り上げて表示される。時刻ｔ８ｃのフレームが、時刻ｔ８（黒丸で示すフレーム７０−５）に繰り上げて表示される。このように、ニリアスムーズモードでは、ワイド端からテレ端を等倍率間隔で区切った各ズーム倍率での撮像フレーム（記録フレーム）を、ズーム速度が一定になるように時間軸上で再配置して表示する。

ダイナミック・シュート・モード（モード２）は、ユーザのズーム操作速度に関わらず、対象目標に近づくに応じて、一気にズームアップする再生補間モードである。すなわち、徐々にズーム速度を上げるようなズーム効果が得られる。システム制御回路５０は、記録媒体４８の記録フレームから、ズーム倍率の変化速度が徐々に大きくなるようなタイミングのフレームを選択する。そして、このように選択されたフレームが、通常フレームレートのタイミングで表示装置６０に表示出力される。

図１１は、ダイナミック・シュート・モードでの表示フレームの模式図を示す。横軸は時間を示し、縦軸はズーム倍率（撮像画角）を示す。二重丸（◎）で示すフレームは、ズーム操作中の１／２４０秒間隔の記録フレームである。白丸（〇）で示すフレームは、１／６０秒間隔の記録フレームである。ズーム倍率が変化している時刻ｔ３〜ｔ９の期間では、１／２４０秒間隔で撮像フレームが記録されている。ズーム操作していない時は、間引き処理によって、１／６０秒間隔のフレームレートで撮像フレームが記録されている。図１１に示す例では、撮像時にズーム倍率が一定速度で移動している。

図１１に示す例で具体的に説明する。ダイナミック・シュート・モードで想定されているズーム倍率の変化速度曲線に実際の記録フレームを当てはめ、通常フレームレートでの再生表示に使用するフレームを選択決定する。図１１に示す例では、時刻ｔ３，ｔ３ａ，ｔ３ｂ，ｔ４，ｔ５ａのフレームが表示用に選択される。そして、時刻ｔ３のフレームが、時刻ｔ３の他にも、時刻ｔ４（黒丸で示すフレーム７２−１）にも時間的にシフトして表示される。時刻ｔ３ａのフレームが、時刻ｔ５（黒丸で示すフレーム７２−２）に時間的にシフトして表示される。時刻ｔ３ｂのフレームが、時刻ｔ６（黒丸で示すフレーム７２−３）に時間的にシフトして表示される。時刻ｔ４のフレームが、時刻ｔ７（黒丸で示すフレーム７２−４）に時間的にシフトして表示される。時刻ｔ５ａのフレームが、時刻ｔ８（黒丸で示すフレーム７２−５）に時間的にシフトして表示される。

このように、ダイナミック・シュート・モードでは、ズーム速度が徐々に大きくなるように、ワイド端からテレ端を非線形に分割するフレームが、通常フレームレートで表示される。

ソフト・ランディング・モード（モード３）は、ユーザのズーム操作速度に関わらず、対象目標に近づくに応じて徐々にズーム速度を低下させる再生補間モードである。すなわち、徐々にズーム速度を下げるようなズーム効果を与える。システム制御回路５０は、記録媒体４８の記録フレームから、対象目標に近づくに応じて徐々にズーム速度を低下させるタイミングのフレームを選択する。そして、このように選択されたフレームが、通常フレームレートのタイミングで表示装置６０に表示出力される。

図１２は、ソフト・ランディング・モードでの表示フレームの模式図を示す。横軸は時間を示し、縦軸はズーム倍率（撮像画角）を示す。二重丸（◎）で示すフレームは、ズーム操作中の１／２４０秒間隔の記録フレームである。白丸（〇）で示すフレームは、１／６０秒間隔の記録フレームである。ズーム倍率が変化している時刻ｔ３〜ｔ９の期間では、１／２４０秒間隔で撮像フレームが記録されている。ズーム操作していない時は、間引き処理によって、１／６０秒間隔のフレームレートで撮像フレームが記録されている。図１２に示す例では、撮像時にズーム倍率が一定速度で移動している。

図１２に示す例で具体的に説明する。ソフト・ランディング・モードで想定されているズーム倍率の変化速度曲線に実際の記録フレームを当てはめ、通常フレームレートでの再生表示に使用するフレームを選択決定する。図１２に示す例では、時刻ｔ６ｃ，ｔ８，ｔ８ｂ，ｔ８ｃ，ｔ９のフレームが表示用に選択される。そして、時刻ｔ６ｃのフレームが、時刻ｔ４（黒丸で示すフレーム７４−１）に時間的にシフトして表示される。時刻ｔ８のフレームが、時刻ｔ５（黒丸で示すフレーム７４−２）に時間的にシフトして表示される。時刻ｔ８ｂのフレームが、時刻ｔ６（黒丸で示すフレーム７４−３）に時間的にシフトして表示される。時刻ｔ８ｃのフレームが、時刻ｔ７（黒丸で示すフレーム７４−４）に時間的にシフトして表示される。時刻ｔ９のフレームが、時刻ｔ８（黒丸で示すフレーム７４−５）に時間的にシフトして表示される。このように、ソフト・ランディング・モードでは、ズーム速度が徐々に小さくなるようにワイド端からテレ端を非線形に分割するフレーム画が、補間表示される。

スローモーション・モード（モード４）は、ズーム操作中に高フレームレートで記録されたフレーム画を、予め設定された倍率で全て描画する再生モードである。たとえば、ズーム期間中に１／２４０秒間隔で撮像記録されている高フレームレートのフレーム画を、１／６０秒の通常フレームレートで再生することになり、１／４倍のスロー画像表示になる。すなわち、ズーム操作中の映像を視認し易いスロー再生することになる。

スキップ・モード（モード５）は、ユーザがズーム操作をミスした映像、たとえばズーム倍率を大きくし過ぎて慌てて戻したような操作エラーを自動検出し、その個所だけ出画をスキップする再生モードである。ズームアップ操作又はズームダウン操作が短時間に繰り返された場合、その操作ミスを除外するのに有効なモードである。

図１３は、スキップ・モードでの表示フレームの模式図を示す。横軸は時間を示し、縦軸はズーム倍率（撮像画角）を示す。二重丸（◎）で示すフレームは、ズーム操作中の１／２４０秒間隔の記録フレームである。白丸（〇）で示すフレームは、１／６０秒間隔の記録フレームである。ズーム倍率が変化している時刻ｔ３〜ｔ９の期間では、１／２４０秒間隔で撮像フレームが記録されている。ズーム操作していない時は、間引き処理によって、１／６０秒間隔のフレームレートで撮像フレームが記録されている。図１３に示す例では、ワイド端からテレ端に一定速度でズーム倍率が変化した後，若干、ワイド端側にズーム倍率が移行している。図示例では、このワイド端側への戻りの部分のフレームが再生画面上で表示されないようにする。

図１３に示す例で具体的に説明する。スキップ・モードでは、ズーム倍率の中間の変化を無視し、ズーム操作の開始点と終了点とを一定の規則（図示例では直線）で接続するズーム倍率の変化が想定されている。そして、この想定変化に対して、実際の記録フレームを当てはめ、通常フレームレートでの再生表示に使用するフレームを選択決定する。図１３に示す例では、時刻ｔ３ｂ，ｔ４，ｔ４ｂ，ｔ５のフレームが表示用に選択される。そして、時刻ｔ３ｂのフレームが、時刻ｔ４（黒丸で示すフレーム７６−１）に時間的にシフトして表示される。時刻ｔ４のフレームが、時刻ｔ５（黒丸で示すフレーム７６−２）に時間的にシフトして表示される。時刻ｔ４ｂのフレームが、時刻ｔ６（黒丸で示すフレーム７６−３）に時間的にシフトして表示される。時刻ｔ５のフレームが、時刻ｔ７（黒丸で示すフレーム７６−４）に時間的にシフトして表示される。このように、スキップ・モードでは、ズーム操作ミス又は調整的な操作によってズーム倍率がオーバーシュートしたような映像に対して、オーバーシュート成分を除外して再生表示することができる。

ズーム操作のオーバーシュートは、図１３において、所定時間内のズーム操作量をメタデータから監視し、一定期間の平均的なズーム倍率ＡまたはＢに対して、これを逸脱するズーム操作期間を除外すればよい。一方、ズーム表示のフレーム補間は、平均的なズーム倍率Ａと同Ｂの間に対してズーム倍率を一定間隔分割するようにフレームを再配置する。

以上、５つの特殊再生モードを説明したが、これら特殊再生モードを、シーン毎に表示属性として指定してもよいし、又は、複数を組み合わせて使用しても良い。

また、ズーム特殊再生効果として、ワイド端からテレ端へのズームアップの例を説明したが、この逆に、テレ端からワイド端へのズームダウンにおいても、同様の処理が可能であることは明白である。

システム制御回路５０は、再生出力するフレームの選択に関わらず、記録音声を連続的に再生出力する（Ｓ１５）。例えば、時間軸を適宜に調整し、及び／又は、不要部分（例えば、無音部分や長音部分）を削除する。

このように出力フレーム及び出力音声を制御した上で、再生出力する（Ｓ１６）。外部インターフェース５４に接続する外部機器に出力する場合には、外部インターフェース５４から当該外部機器に再生信号を供給する。

システム制御回路５０は、操作部５２からの再生停止の指示を受けるか、再生対象の再生終了で、再生処理を終了する（Ｓ１７）。再生継続の場合には（Ｓ１７）、ステップＳ１１に戻る。

図１４は、システム制御回路５０の機能ブロック図を示す。システム制御回路５０は、操作部５２と接続し、データバス３８を介して、圧縮伸長回路４４、記録媒体制御回路４６、メモリ４０及びメモリ制御回路４２と接続する。システム制御回路５０は、記録系として、ズーム操作検出部５０−１、フレームレート制御部５０−２及びファイル管理データ生成部５０−３を具備する。システム制御回路５０はまた、再生系として、ファイル管理データ検出部５０−４、表示フレーム制御部５０−５及び音声制御部５０−６を具備する。

記録時には、ズーム操作検出部５０−１は、ユーザによるズーム操作の有無と、ズーム操作時のズーム速度を検出し、検出されたズーム操作情報をフレームレート制御部５０−２に供給する。フレームレート制御部５０−２は、ズーム操作検出部５０−１からのズーム操作情報に従い、記録フレームレートを制御する。ファイル管理データ生成部５０−３は、記録媒体４８に蓄積される映像データのフレームレート及びズーム操作情報を、ファイル管理データにメタデータとして格納する。また、映像データの各フレームと関連付けられている限り、記録フレームレート及び及びズーム操作情報を、映像ファイルとは別ファイルに格納してもよいことは明らかである。

再生時には、ファイル管理検出部５０−４は、再生対象の映像データのメタデータを記録媒体４８から読み出し、表示フレーム制御部５０−５と音声制御部５０−６に供給する。表示フレーム制御部５０−５は、ファイル管理検出部５０−４からのメタデータと指定される再生モードに従い、上述のように表示フレームを制御する。同様に、音声制御部５０−６は、ファイル管理検出部５０−４からのメタデータと指定される再生モードに従い、上述のように出力音声を制御する。

以上に詳述したとおり、本実施例では、ズーム操作中の撮像フレームを高フレームレートで記録しておき、再生時には、指定効果に応じて所定フレームを時間軸上で再配置する。これにより、ズーム操作中の映像を様々な表示効果で再生表示できる。高フレーム撮影ゆえに、所望のズーム倍率のフレーム画を抽出し、高品位かつスムーズな補間を実現し得る。さらに、ズーム操作の人為ミスやクセ等によって、ズーム操作中の映像が見苦しくなるような場合であっても、その個所を除外して補間再生できる。こうした補間処理に際して映像と音声を別処理することにより、映像がスキップしても音声の連続性は保持され、途切れ無しに再生できる。

上記実施例では、カメラ部の撮像フレームレートは高速で一定とし、必要に応じて記録媒体４８への記録レートを必要時に下げているが、本発明は、これに制約され無い。例えば、撮像素子駆動回路２８の出力するタイミング信号の周波数を変更することで、カメラ部の撮像フレームレートそのものをダイナミックに切り換えても、同様の効果が得られる。

ズーム操作の前後の映像には、ズーム操作中と同様に重要なシーンが多い。そこで、ズーム操作の有無にかかわらず高フレームレートで記録して、ズーム操作の前後の一定期間に対しても、高フレームレートの映像データを記録媒体４８に記録する。そして、再生時には、ズーム操作期間とその前後を含む期間に対して、第１実施例と同様の特殊再生を適用する。これにより、ズーム操作中のみならず、その前後の期間を含めて、スムーズな再生映像を実現できる。

図１５を参照して、本実施例の再生動作を説明する。横軸は時間を示す。図１５（ａ）は、記録時のズーム操作のタイミングを示す。図１５（ｂ）は、ズーム操作期間を前後に拡張した特殊再生期間を示すフレーム制御信号を示す。特殊再生期間は、図１５（ａ）に示すズーム操作期間と、その前の期間Ｄ１及び後の期間Ｄ２とからなる。図１５（ｃ）は撮像フレームを示す。図１５（ｄ）は、記録媒体４８に記録されるフレームを示す。図１５（ｂ），（ｄ）から分かるように、本実施例では、ズーム操作の前後期間Ｄ１，Ｄ２を含めて、高フレームレート１／２４０秒で撮像フレームを記録媒体４８に記録する。期間Ｄ１と期間Ｄ２の長さは、同一時間である必要はない。

ズーム操作前期間Ｄ１の撮像フレームを記録媒体４８に記録するために、カメラ信号処理回路３６の出力映像データを期間Ｄ1以上、記憶できるバッファメモリをメモリ４０に設定しておく。ズーム操作の開始を検知したら、このバッファメモリ４０に記憶される期間Ｄ１、ズーム操作中及び期間Ｄ２の撮像フレームをそのままのフレームレートで符号化して、記録媒体４８に記録する。ズーム操作の開始を検知せずに期間Ｄ１を経過した分については、このバッファメモリ４０に記憶される撮像フレームを１／６０秒のフレームレートに間引いた上で符号化し、記録媒体４８に記録する。

図１６は、本実施例における記録フレームレートとズーム倍率の関係を示す模式図である。横軸は時間を示し、縦軸はズーム倍率（撮像画角）を示す。二重丸（◎）で示すフレームは、１／２４０秒間隔の撮像フレームである。白丸（〇）で示すフレームは、１／６０秒間隔の撮像フレームである。本実施例では、白丸（〇）に示す１／６０秒間隔の撮像フレームは、ズーム操作の有無に関わらず、記録媒体４８に記録される。ズーム倍率が変化している時刻ｔ３からｔ９までの期間だけでなく、ズーム操作前の期間ｔ１〜ｔ３及びズーム操作後の期間ｔ９〜ｔ１１についても、通常より高フレームレートとなる１／２４０秒間隔で映像データが記録媒体４８に記録される。

このように、本実施例では、ズーム操作中のみならず、その前後の一定期間の映像も高フレームレートで記録媒体４８に記録される。一般的に、ズーム操作を行なう場合、ズームアップ又はズームダウンの前後映像は目標被写体を捉え、撮影者の意図を反映した重要な映像になる。たとえば、スポーツのゴールシーン然り、ズームアップした人物の表情然りである。このように、ズーム操作の前後映像も高フレームレートで記録することにより、ズーム操作の前後映像を効果的に演出できる。

撮像素子２６に入射する光学像を光学的にズームする光学ズームの実施例を説明したが、本発明は、撮像素子２６により生成される画像信号を電子的にズームする電子ズームを使用する撮像装置にも同様に適用可能である。

映像信号のレートをフレームレートで説明したが、インターレース信号の場合、フレームレートをフィールドレートと読み替えても、同様の作用効果を得ることができる。

以上、本発明の好ましい実施例を説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０：撮像部（カメラ部）
２６：撮像素子
２８：撮像素子駆動回路
３０：カメラ制御回路
３６：カメラ信号処理回路
４４：圧縮伸長回路
４８：記録媒体
５０：システム制御回路
６０：表示装置

Claims (5)

1. 光学像を画像信号に変換する撮像手段、及び、前記撮像手段に入射する光学像を光学的にズームするか、前記撮像手段の出力画像信号を電子的にズームするズーム手段を具備する撮像部と、
   前記撮像部により撮像された画像信号からなる映像信号を記録媒体に記録する記録手段であって、前記映像信号の前記記録媒体への記録フレームレート及び前記ズーム手段の前記ズーム操作情報を前記記録媒体に記録する記録手段と、
   前記ズーム手段を操作するズーム操作手段と、
   前記ズーム操作手段の操作に応じて、前記映像信号の前記記録媒体への記録フレームレートを制御する制御手段であって、前記ズーム操作手段の操作中を含む期間では、前記記録フレームレートを通常フレームレートよりも高くする制御手段と、
   設定された再生モードに従い、前記記録媒体から前記映像信号を再生する再生手段であって、前記ズーム操作情報に従い、前記ズーム操作手段の操作中を含む期間では、前記映像信号を間引いて前記通常フレームレートで再生出力する再生手段
   とを具備することを特徴とする撮像装置。
2. 更に、前記ズーム手段のズーム速度を検出するズーム速度検出手段を備え、
   前記制御手段は、前記ズーム速度検出手段で検出された前記ズーム速度に基づいて、前記記録フレームレートを制御することを特徴とする請求項１に記載の撮像装置。
3. 前記ズーム操作手段の操作中を含む期間が、前記ズーム操作手段の操作中の期間のみからなることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記ズーム操作手段の操作中を含む期間が、前記ズーム操作手段の操作中の期間と、その前後の期間からなることを特徴とする請求項１又は２に記載の撮像装置。
5. 前記通常フレームレートの映像信号と前記通常フレームレートでない映像信号が、前記記録媒体の互いに異なるエリアに格納され管理されることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。

Images