JP3925487B2 - 撮像装置と撮像方法 - Google Patents

Description

この発明は、撮像装置と撮像方法に関する。詳しくは、撮像素子から読み出した信号を基に映像データを生成し、この映像データのフレームレートを所望の設定フレームレートに可変設定し、設定フレームレートを示すフレームレート情報を含む付属情報を生成し、映像データに対して付属情報を連結させて出力するものである。

従来、放送等に用いる画像および／または音声のコンテンツ生成では、制作者の意図する効果を出すため、ある期間だけ部分的に被写体の動きの速度を変えたコンテンツを作ることが多々行われている。

この動きの速度を変えたコンテンツの生成では、例えば基準フレームレートに対してフレームレートを高く設定してコンテンツを生成し、このコンテンツを基準フレームレートで再生することにより、実際よりも動きを遅く表現したコンテンツを生成する。また、基準フレームレートに対してフレームレートを低く設定してコンテンツを生成し、このコンテンツを基準フレームレートで再生することにより、実際よりも動きを速く表現したコンテンツを生成する。さらに、設定するフレームレートや再生時のフレームレートを調整することで、動きの速度を自由に可変できる。

このようにして、制作者は、基準フレームレートで再生したとき意図する効果が得られるように、基準フレームレートで生成したコンテンツだけでなく動きの速度を変えたコンテンツも用いて放送用等のコンテンツを生成する。

また、このようにフレームレートを可変したコンテンツを生成できるように、時間軸の伸張や圧縮を行うことができるビデオカメラが、例えば特許文献１に示されている。

特開平１１−１７７９３０号公報

ところで、上述のように基準フレームレートで生成したコンテンツと動きの速度を変えたコンテンツとを素材として用いて放送等に用いるコンテンツを生成する場合、単に素材の画像を表示するだけでは、各コンテンツがどのようなフレームレートで生成されているかを編集時に容易に識別することができない。また、動きの速度を変えたコンテンツに対して速度変更の処理を行う場合、画質の低下を招くことなく容易に速度変更を行うことができるか否かの識別も行うことができない。例えば設定されたフレームレート（以下「設定フレームレート」という）が基準フレームレートに対して１０倍とされた場合、この設定フレームレートで生成されたコンテンツを基準フレームレートで再生すると、動きを１／１０倍速として表現したコンテンツとなる。ここで、動きを１／５倍速として表現したいときには、設定フレームレートが基準フレームレートに対して１０倍であることから、１フレーム毎に間引きを行うことで、画質を劣化させることなく簡単に速度変更を行うことができると識別できる。しかし、表示された画像だけでは、画質を劣化させることなく簡単に速度変更を行うことができるか否かを識別することができない。

そこで、この発明では、どのようなフレームレートで撮像が行われたかを容易に識別できるものとする撮像装置と撮像方法を提供するものである。

この発明に係る撮像装置は、撮像素子から信号を読み出して、撮像画像に基づいた撮像信号を生成する撮像手段と、撮像信号に基づいて映像データを生成する信号処理手段と、撮像手段と信号処理手段の少なくとも一方の動作を制御して、映像データのフレームレートを所望の設定フレームレートに可変設定し、少なくとも該設定フレームレートを示す付属情報を生成する制御手段と、映像データに対して付属情報を連結させて出力する出力手段とを有し、制御手段は、基準フレームレートの１フレーム期間内に含まれる設定フレームレートの各フレームに対してサブフレーム番号を付加し、該サブフレーム番号を付属情報に含めるものである。

また、この発明に係る撮像方法は、撮像素子から読み出した信号を基に映像データを生成するステップと、映像データのフレームレートを所望の設定フレームレートに可変設定するステップと、設定フレームレートを示すフレームレート情報を含む付属情報を生成するステップと、映像データに対して付属情報を連結させて出力するステップを有し、付属情報を生成するステップでは、基準フレームレートの１フレーム期間内に含まれる設定フレームレートの各フレームに対して割り当てられたサブフレーム番号を付属情報に含めるものである。

この発明においては、撮像素子から信号を読み出して、撮像画像に基づいた撮像信号を生成し、撮像信号に基づいて映像データを生成する際に、撮像素子からの信号読み出しタイミングを可変することで、映像データのフレームレートを可変し、あるいはフレーム間引きを行うことで、映像データのフレームレートを可変し、または、撮像素子からの信号読み出しタイミングを可変するとともに、フレーム加算を行うことで、映像データのフレームレートを可変設定する。この映像データのフレームレートを所望の設定フレームレートに可変設定するとともに設定フレームレートを示すフレームレート情報を生成して、この画像を示す映像データが主データとされて、この主データに対してフレームレート情報を含む付属情報を連結して出力される。また、付属情報には、所定の基準フレームレートのフレーム期間内に含まれる設定フレームレートのフレームに対して付加されたサブフレーム番号が含められる。さらに、アナログ音声信号のサンプリングを行って音声データが生成されるとともに、このサンプリング周期が設定フレームレートに基づいて制御される。この画像および音声を示す映像データと音声データが主データとされて、この主データに対して付属情報を連結して出力される。この主データの出力では、記録媒体例えばビデオテープやディスク状記録媒体に付属情報が連結された主データが記録される。

この発明によれば、撮像素子から読み出した信号を基に映像データが生成されて、この映像データのフレームレートが所望の設定フレームレートに可変設定される。この設定フレームレートを示すフレームレート情報を含む付属情報が生成されて、映像データと連結して出力される。このため、このフレームレート情報を利用して可変速再生を容易に行うことができる。

また、撮像素子からの信号読み出しタイミングを可変設定することで、映像データのフレームレートが可変設定されるので、映像データのフレームレートを自由に可変することができる。また、フレーム間引きを行って映像データのフレームレートを可変設定するので、撮像装置の構成を簡単にできる。さらに、撮像素子からの信号読み出しタイミングを可変設定するとともにフレーム加算を行うことで、映像データのフレームレートを可変設定するので、映像データのフレームレートを自由に可変できるとともに撮像素子からの信号読み出しタイミングの可変範囲を小さくできる。

また、所定の基準フレームレートのフレーム期間内に含まれる設定フレームレートのフレームに対してサブフレーム番号を付加し、サブフレーム番号が付属情報に含められるので、フレーム単位で映像データを間引きして再生速度を可変設定するさいに、映像データの間引きを簡単に行うことができる。

さらに、アナログ音声信号のサンプリングを行って音声データを生成し、アナログ音声信号のサンプリング周期を設定フレームレートに基づいて制御し、映像データと音声データに対して付属情報を連結させて出力される。このため、画像だけでなく音声も画像に合わせて可変速再生することができる。

また、画像および／または音声を示す主データに、この主データのフレームレート情報を含む付属情報が連結されて記録媒体に記録されて出力されるので、この記録媒体を再生してフレームレート情報を利用した可変速再生を容易に行うことができる。

以下、この発明の実施の一形態について説明する。図１は、コンテンツ例えば画像および／または音声のコンテンツの配信を行うコンテンツ提供システムの全体構成を示している。撮像装置１０はフレームレートが可変設定された映像データを生成して、この映像データのフレームレートを示すフレームレート情報が含まれた付属情報を映像データに連結して素材データＤＴmとして信号記録装置２０あるいは編集装置３０に供給する。また、音声入力装置１９が撮像装置１０に設けられているときには音声データを生成して、付属情報と共に素材データＤＴmとして信号記録装置２０あるいは編集装置３０に供給する。

信号記録装置２０は、供給された素材データＤＴmを記録媒体に記録する。また、記録媒体に記録されている素材データＤＴmを再生して編集装置３０に供給する。なお、撮像装置１０と信号記録装置２０は、完全に一体型に構成されるものに加え、いわゆるドッカブルタイプとされて一体化できるものでも良く、また撮像装置１０と信号記録装置２０が別個に用いられてケーブルを介して接続されるものであっても良い。

編集装置３０は、撮像装置１０あるいは信号記録装置２０から供給された素材データＤＴmを用いて編集処理を行い、編集者が所望する映像データや音声データを生成する。また、編集装置３０は、生成した映像データや音声データに対してフレームレート情報等を含む付属情報を連結して、放送用や配信用等のコンテンツデータＤＣを生成する。

図２は、撮像装置１０の構成を示している。撮像レンズ系１１を通して入射された光は、撮像部１２に入射されて、撮像部１２に設けられている例えばＣＣＤ(Charge Coupled Device)等の撮像素子の撮像面上に被写体画像が結像される。撮像素子は、光電変換によって被写体画像の撮像電荷を生成する。また、後述するタイミングジェネレータ１４２からの駆動信号ＣＲに基づいて、生成した撮像電荷の読み出しを行い、駆動信号ＣＲに応じたフレームレートの撮像信号Ｓpを生成して信号処理部１３のカメラ処理回路１３１に供給する。

カメラ処理回路１３１は、タイミングジェネレータ１４２から供給されたタイミング信号ＣＴに基づき、撮像信号Ｓpと同期したタイミングで種々の信号処理を行う。例えば、相関二重サンプリング等を行うことで撮像信号Ｓpからノイズ成分を除去する処理、ノイズ除去された撮像信号Ｓpをディジタルの映像データに変換する処理、映像データのクランプ処理、シェーディング補正や撮像素子の欠陥補正、γ処理や輪郭補償処理およびニー（knee）補正処理等を行う。また、制御部１４の撮像制御回路１４１から供給された動作制御信号ＣＳに基づいた処理条件等で種々の信号処理を行う。このように、カメラ処理回路１３１で種々の信号処理を行って得られた映像データＤＶは、出力部１５に供給される。

制御部１４のタイミングジェネレータ１４２は、撮像制御回路１４１からの動作制御信号ＣＳに応じた駆動信号ＣＲを生成して撮像部１２に供給することにより、撮像部１２における撮像電荷の読み出し周期を可変して、撮像信号Ｓpのフレームレートを、ユーザインタフェース部１６からの操作信号ＰＳaに基づいた設定フレームレートＦＲsに制御する。例えばＮＴＳＣ方式ではフレーム周波数５９．９４Ｈｚや２９．９７Ｈｚ、ＰＡＬ方式ではフレーム周波数５０Ｈｚや２５Ｈｚを基準フレームレートＦＲrのフレーム周波数として、設定フレームレートＦＲsを基準フレームレートＦＲrのｋ（ｋは整数に限らない正の値）倍とする操作が行われたときには、撮像信号Ｓpのフレームレートが基準フレームレートＦＲrのｋ倍となるように制御する。なお、例えば、ＣＣＤ等の撮像素子の各画素から転送部へ各画素に蓄積された撮像電荷を移動させるための読み出しパルス（センサーゲートパルス）の周期を変更する等することで、撮像電荷の読み出し周期が可変され、フレームレートが可変される。また、この際に、ＣＤＲ（Common Data Rate）方式を採用しても良い。ＣＤＲ方式を用いると、有効なフレームレートは可変するが、ＣＣＤから出力される信号のフレームレートは不変とすることができ、カメラ処理回路１３１等の処理レートを一定とすることができる。このＣＤＲ方式に関しては、ＰＣＴ出願、出願番号PCT/JP03/0051、2003/01/22出願に開示されている。

また、タイミングジェネレータ１４２は、駆動信号ＣＲに同期したタイミング信号ＣＴを生成してカメラ処理回路１３１や音声処理回路１３２に供給する。さらに、タイミングジェネレータ１４２は、映像データＤＶのフレームレートである設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRsを生成して、出力部１５に供給する。また、タイミングジェネレータ１４２は、サブフレーム番号ＢＮの生成も行う。このサブフレーム番号ＢＮは、基準フレームレートＦＲrに対して設定フレームレートＦＲsを高くしたとき、基準フレームレートＦＲrの各フレーム期間内に含まれる各フレームを識別可能とする番号である。このサブフレーム番号ＢＮをフレーム識別情報ＤＭ-BNとして出力部１５に供給する。

図３は、タイミングジェネレータ１４２でのサブフレーム番号の付加動作を示すフローチャートである。タイミングジェネレータ１４２は、例えば所定周波数の発振信号を分周して、基準フレームレートＦＲrのフレーム期間と設定フレームレートＦＲsのフレーム期間を同期させて設定し、設定フレームレートＦＲsのフレーム期間に基づいて駆動信号ＣＲの生成および基準フレームレートＦＲrのフレーム期間の区切りを示すフレーム基準タイミングの生成を行う。

ステップＳＴ１では、フレーム基準タイミングを検出したか否かを識別する。ここで基準タイミングを検出したときにはステップＳＴ２に進む。また基準タイミングを検出していないときにはステップＳＴ１に戻る。

ステップＳＴ１でフレーム基準タイミングを検出してステップＳＴ２に進むと、ステップＳＴ２では、サブフレーム番号ＢＮの初期化を行い、サブフレーム番号ＢＮを初期値例えば「０」に設定してステップＳＴ３に進む。

ステップＳＴ３では、フレーム基準タイミングを検出してから設定フレームレートＦＲsの１フレーム期間経過時までに、フレーム基準タイミングを検出したか否かを識別する。ここで、フレーム基準タイミングを検出していないときにはステップＳＴ４に進み、サブフレーム番号ＢＮに「１」を加算して、サブフレーム番号ＢＮの更新を行いステップＳＴ３に戻る。このように、設定フレームレートＦＲsの１フレーム期間経過時までにフレーム基準タイミングが検出されていないときには、設定フレームレートＦＲsの１フレーム期間毎にサブフレーム番号ＢＮが順番に割り当てられる。

その後、設定フレームレートＦＲsの１フレーム期間経過までにフレーム基準タイミングを検出するとステップＳＴ２に戻り、サブフレーム番号ＢＮの初期化を行う。

このため、基準フレームレートＦＲrのフレーム期間毎に、このフレーム期間中に設けられた設定フレームレートＦＲsのフレーム画像に対してサブフレーム番号ＢＮを付加することができる。

図２に示す制御部１４の撮像制御回路１４１には、ユーザインタフェース部１６が接続されている。ユーザインタフェース部１６は、撮像装置１０での動作切換操作やフレームレート可変操作が行われたとき、これらの操作に応じた操作信号ＰＳaを生成して撮像制御回路１４１に供給する。また、ユーザインタフェース部１６は、図示しないリモートコントローラ等の外部機器から操作信号ＰＳaが供給されたとき、この操作信号ＰＳaを撮像制御回路１４１に供給する。

撮像制御回路１４１は、ユーザインタフェース部１６からの操作信号ＰＳaに基づき、撮像装置１０の動作が操作信号ＰＳaに応じた動作となるように、動作制御信号ＣＳを生成してカメラ処理回路１３１やタイミングジェネレータ１４２に供給する。

音声処理回路１３２には、音声入力装置１９からアナログの音声信号Ｓinが供給される。音声処理回路１３２は、タイミングジェネレータ１４２から供給されたタイミング信号ＣＴに基づいて音声信号Ｓinのサンプリング処理を行い、ディジタルの音声データＤＡを生成して出力部１５に供給する。

出力部１５は、フレームレート情報ＤＭ-FRsやフレーム識別情報ＤＭ-BNを含む付属情報ＤＭを生成して、映像データＤＶや音声データＤＡに連結させて素材データＤＴmを生成して信号記録装置２０あるいは編集装置３０に供給する。また、付属情報ＤＭには、設定フレームレートＦＲsやサブフレーム番号ＢＮの情報だけでなく、撮像日時や撮像条件および撮像内容等を示す情報を含めるものとしても良い。

ここで、映像データＤＶや音声データＤＡに対して付属情報ＤＭを連結させる方法の一例として、映像データＤＶや音声データＤＡを圧縮してデータストリームとして素材データＤＴmを生成するときには画像のデータストリーム中に付属情報ＤＭを挿入、あるいはデータストリームのヘッダ中に付属情報ＤＭを挿入、あるいはデータストリームのヘッダ中に付属情報ＤＭを挿入することが考えられる。例えばＩＳＯ(International Organization for Standardization)／ＩＥＣ(International Electrotechnical Commission)１３８１８−２として規格化されているＭＰＥＧ(Moving Picture Experts Group)の動画圧縮方式を用いる場合には、ピクチャ層に設けられている拡張用の領域等に付属情報ＤＭを挿入することで、付属情報ＤＭをピクチャ単位で挿入できる。また、ＩＳＯ／ＩＥＣ１３８１８−２として規格化されているＭＰＥＧ(Moving Picture Experts Group)の同期多重方式を用いる場合には、ＰＥＳ(Packetized Elementary Steam)のヘッダに設けられているオプションフィールド等に付属情報ＤＭを挿入するものとしても良い。

また、非圧縮の映像データや音声データを伝送するためにＳＭＰＴＥ(Society of Motion Picture and Television Engineers)２５９Ｍ「Television - 10-Bit 4:2:2 Component and 4fsc Composite Digital Signals - Serial Digital Interface」として規格化されているＳＤＩフォーマットや、圧縮された映像データや音声データを伝送するためにＳＭＰＴＥ３０５Ｍ「Television - Serial Data Transport Interface (SDTI)」として規格化されているＳＤＴＩフォーマット、ＳＤＴＩフォーマットを更に限定しているＳＭＰＴＥ３２６Ｍ「Television - SDTI Content Package Format (SDTI-CP)」として規格化されたＳＤＴＩ−ＣＰフォーマットを用いる場合、付属情報ＤＭをＳＭＰＴＥ３３０Ｍ「Television - Unique Material Identifier (UMID)」として規格化されているＵＭＩＤのデータとして、各フォーマットの信号に挿入することが考えられる。なお、映像データＤＶや音声データＤＡに対して付属情報ＤＭを連結する方法はこれに限られず種々の方法が考えられる。

ＵＭＩＤは、映像データ、音声データ及びその他の素材データを識別するために唯一的に決定される識別子である。このＵＭＩＤでは、Basic ＵＭＩＤあるいはBasic ＵＭＩＤにシグネチャメタデータ(SignatureMetadata）を付加したExtended ＵＭＩＤが定義されている。Basic ＵＭＩＤには、ディジタルデータを識別するためのラベルや素材データに上書き処理や編集処理が施されたか否かを示す情報、素材データを区別するための番号等が格納される。また、シグネチャメタデータには、素材データが生成された時間や日付の情報、素材データが生成された時間に関する補正情報（時差情報）や、緯度、経度、高度で表される位置情報、組織名に関する情報等を格納することが出来るようになされている。さらに、シグネチャメタデータには、ユーザコード領域が設けられており、例えばこの領域に付属情報ＤＭを格納する。

このようにして生成したExtended ＵＭＩＤを各フォーマットの信号に挿入する。ここで、ＳＤＩフォーマットを用いる場合には、図４に示すように、アンシラリデータ(Ancillary Data)領域にExtended ＵＭＩＤを挿入する。ＳＤＴＩフォーマットを用いる場合には、図５に示すようにアンシラリデータ(Ancillary Data)領域のヘッダデータ部分を除いた領域にExtended ＵＭＩＤを挿入する。ＳＤＴＩ−ＣＰフォーマットでは、ペイロード領域に挿入するデータが、「アイテム」単位で挿入されている。具体的には、図６に示すように、画像や音声等に関する情報等で構成されるシステムアイテム、映像データで構成されるピクチャアイテム、音声データで構成されるオーディオアイテム、その他のデータで構成されるＡＵＸアイテムの順に挿入される。システムアイテムには、「Package MetadataSet」「Picture Metadata Set」「Audio Metadata Set」「Auxiliary Metadata Set」の領域が設けられてメタデータを挿入することが出来るようになされている。このため、これらの領域にExtended ＵＭＩＤを挿入することができる。

ところで、上述の撮像装置１０は、撮像部１２における撮像電荷の読み出しタイミングを可変することで、所望の設定フレームレートＦＲsの素材データＤＴmを生成するものであり、設定フレームレートＦＲsを連続的に可変できる。しかし、設定フレームレートＦＲsをステップ状に可変するだけでよい場合には、フレーム間引きを行うことで、所望の設定フレームレートＦＲsの素材データＤＴmを生成できる。すなわち、設定フレームレートＦＲsよりも高いフレームレートであり、フレームレートが一定である映像データＤＶaを生成して、この映像データＤＶaから設定フレームレートＦＲs分だけ映像データを抽出することで、設定フレームレートＦＲsの映像データＤＶを生成できる。この場合の構成を図７に示す。なお、図７において、図２と対応する部分については同一符号を付し詳細な説明は省略する。

制御部１８のタイミングジェネレータ１８２は、ユーザインタフェース部１６を介して設定される設定フレームレートＦＲsの最高値に応じた駆動信号ＣＲaを生成して撮像部１２に供給する。撮像部１２は、駆動信号ＣＲaに基づいて撮像信号の生成を行い、フレームレートが基準フレームレートＦＲrよりも高い固定フレームレートＦＲqの撮像信号Ｓpaを生成して信号処理部１７のカメラ処理回路１３１に供給する。例えば、設定フレームレートＦＲsが基準フレームレートＦＲrのｎ（ｎは正数）倍まで変更可能であるとき、基準フレームレートＦＲrのｎ倍のフレームレートである撮像信号Ｓpaを生成して、カメラ処理回路１３１に供給する。即ち、撮像部１２は、ユーザインタフェース部１６を介して設定される設定フレームレートＦＲｓに影響されることなく、固定のフレームレートである撮像信号Ｓpaを生成する。

また、タイミングジェネレータ１８２は、駆動信号ＣＲaに同期したタイミング信号ＣＴaを生成して信号処理部１７のカメラ処理回路１３１や音声処理回路１３２および有効フレーム信号生成回路１８３に供給する。

カメラ処理回路１３１は、撮像信号Ｓpaに基づいて生成した固定フレームレートＦＲqの映像データＤＶaを有効データ選別回路１７１に供給する。音声処理回路１３２は、一定周波数のタイミング信号ＣＴaに基づいたサンプリングを行って生成した音声データＤＡaを有効データ選別回路１７１に供給する。

撮像制御回路１８１は、ユーザインタフェース部１６からの操作信号ＰＳaに基づき、設定フレームレートＦＲsを示す設定情報信号ＣＦを生成して有効フレーム信号生成回路１８３に供給する。

有効フレーム信号生成回路１８３は、映像データＤＶaの一定値であるフレームレートＦＲqと設定情報信号ＣＦによって示された設定フレームレートＦＲsとの比に基づき、映像データＤＶaからフレーム単位でデータ抽出を行って設定フレームレートＦＲsの映像データＤＶを生成するための抽出制御信号ＣＣを生成する。さらに、有効フレーム信号生成回路１８３は、この抽出制御信号ＣＣをタイミング信号ＣＴaに同期して有効データ選別回路１７１に供給する。例えば、映像データＤＶaのフレームレートＦＲqが基準フレームレートＦＲrのｎ倍であり、設定フレームレートＦＲsが基準フレームレートＦＲrの（ｎ／２）倍であるとき、映像データＤＶaから１フレーム置きにフレーム単位でデータ抽出を行う抽出制御信号ＣＣを生成して、タイミング信号ＣＴaに同期して有効データ選別回路１７１に供給する。

また、有効フレーム信号生成回路１８３は、設定情報信号ＣＦに基づき設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRsを生成して出力部１５に供給する。さらに、抽出制御信号ＣＣによって基準フレームレートＦＲrのフレーム期間中におけるフレーム数を識別できることから、基準フレームレートＦＲrの各フレーム期間中におけるフレームに対するサブフレーム番号ＢＮの設定を行い、このサブフレーム番号ＢＮもフレーム識別情報ＤＭ-BNとして出力部１５に供給する。

有効データ選別回路１７１は、抽出制御信号ＣＣによって示されたフレームの映像データＤＶaおよび音声データＤＡaを抽出して映像データＤＶおよび音声データＤＡとして出力部１５に供給する。また、図示せずも、有効フレーム信号生成回路１８３から有効データ選別回路１７１に対して設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRを供給し、有効データ選別回路１７１で、設定フレームレートＦＲsと音声データＤＡaを生成したときのフレームレートとの比に応じて音声データＤＡaの間引きを行うものとしても良い。例えば、音声データＤＡaを生成したときのフレームレートＦＲqが基準フレームレートＦＲrのｎ倍であり、設定フレームレートＦＲsが基準フレームレートＦＲrの（ｎ／２）倍であるとき、音声データＤＡaに対して１サンプル置きに間引きを行う。この場合、フレーム単位で音声データを間引く場合よりも間引き間隔を小さくできるので、音声データＤＡに基づく音声を良好な音質とすることができる。

このように、映像データＤＶaのフレーム周波数を一定とすることで、撮像部１２や信号処理部１７のカメラ処理回路１３１での動作周波数を可変する必要がなくなり、撮像部１２やカメラ処理回路１３１の構成を簡単にできる。また、映像データＤＶaからフレーム単位でデータ抽出を行うだけで設定フレームレートＦＲsの映像データＤＶを生成できるので、所望の設定フレームレートＦＲsの映像データＤＶを映像データＤＶaから容易に生成できる。

また、撮像装置に画像メモリや加算器および除算器を設けるものとして、映像データを所定フレーム分毎に加算して映像データＤＶを生成するようにしても良い。この場合には、撮像信号Ｓpのフレームレート可変範囲を狭くできるとともに設定フレームレートＦＲsを連続的に可変できる。すなわち、ｎフレーム分の撮像信号Ｓpを加算して信号レベルを（１／ｎ）倍すれば、撮像信号Ｓpのフレームレートを（１／ｎ）倍としなくとも、フレームレートを（１／ｎ）倍とした信号を得ることが可能となる。また、撮像電荷の読み出しタイミングを連続的に可変することで、設定フレームレートＦＲsを連続的に可変できる。

図８および図９は、撮像装置１０，１０aで生成される映像データＤＶと付属情報ＤＭの関係を説明するための図である。図８Ａに示すように設定フレームレートＦＲsを例えば基準フレームレートＦＲrの１倍あるいは２倍とすると、図８Ｂに示す映像データＤＶ（図では映像データＤＶに基づいたフレーム画像を示している）に対して、設定フレームレートＦＲsを示す図８Ｃのフレームレート情報ＤＭ-FRsとサブフレーム番号ＢＮを示す図８Ｄに示すフレーム識別情報ＤＭ-BNとを含んだ付属情報ＤＭが連結される。なお、図８Ｅは、時間経過とフレーム画像の関係を示したものである。また、フレームレート情報ＤＭ-FRsは、設定フレームレートＦＲsを示すだけでなく、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍率を示すものとしても良い。図８Ｃおよび以下の図で示すフレームレート情報ＤＭ-FRsでは倍率を記している。

図９Ａに示すように設定フレームレートＦＲsを例えば基準フレームレートＦＲrの１倍あるいは１／２倍とすると、図９Ｂに示す映像データＤＶ（図では映像データＤＶに基づいたフレーム画像を示している）に対して、設定フレームレートＦＲsを示す図９Ｃのフレームレート情報ＤＭ-FRsとサブフレーム番号ＢＮを示す図９Ｄに示すフレーム識別情報ＤＭ-BNとを含んだ付属情報ＤＭが連結される。図９Ｅは、時間経過とフレーム画像の関係を示したものである。

図１０は、信号記録装置２０の構成、例えばビデオテープレコーダの構成を示している。

画像および／または音声を示す主データに、この主データのフレームレート情報を含む付属情報が連結されている素材データＤＴmが入力されると、この素材データＤＴmが記録データとして信号記録処理部２１のエンコーダ２１１に供給される。エンコーダ２１１は、供給された素材データＤＴmを用いて、誤り訂正符号の生成やデータのシャフリング，多重化，チャネル符号化等を後述する記録再生制御部２４から供給された動作制御信号ＣＴＭに基づいて行い記録信号ＳＷを生成する。また、生成した記録信号ＳＷを切換スイッチ２１２の端子ａに供給する。

切換スイッチ２１２には、記録再生制御部２４から切換制御信号ＣＴＷが供給されており、この切換制御信号ＣＴＷに基づき切換スイッチ２１２の動作が制御されて、記録信号ＳＷが端子ｂに接続された記録増幅部２１３aあるいは端子ｃに接続された記録増幅部２１３bに供給される。

記録増幅部２１３aは、供給された記録信号ＳＷを増幅して、信号記録再生部２２の信号切換器２２１aに供給する。記録増幅部２１３bは、供給された記録信号ＳＷを増幅して信号切換器２２１bに供給する。

信号切換器２２１aは、記録再生制御部２４からの切換制御信号ＣＷＲに基づき、信号記録時には記録増幅部２１３aから供給された信号を磁気ヘッド２２２aに供給する。また信号再生時には磁気ヘッド２２２aで得られた信号を、信号再生処理部２３の再生増幅回路２３１aに供給する。同様に、信号切換器２２１bは、記録再生制御部２４からの切換制御信号ＣＷＲに基づき、信号記録時には記録増幅部２１３bから供給された信号を磁気ヘッド２２２bに供給する。また信号再生時には磁気ヘッド２２２bで得られた信号を、信号再生処理部２３の再生増幅回路２３１bに供給する。

このように、回転ドラム（図示せず）上に設けられている磁気ヘッド２２２a，２２２bに対して、増幅された記録信号ＳＷを供給することで、磁気テープ（図示せず）に画像や音声および付属情報を記録する。また、磁気テープに記録された信号は、磁気ヘッド２２２a，２２２bによって読み出されて、再生増幅回路２３１a，２３１bに供給される。

再生増幅回路２３１aは、磁気ヘッド２２２aで得られた信号を増幅して切換スイッチ２３２の端子ａに供給する。また、再生増幅回路２３１bは、磁気ヘッド２２２bで得られた信号を増幅して切換スイッチ２３２の端子ｂに供給する。切換スイッチ２３２の端子ｃは、デコーダ２３３と接続されている。

切換スイッチ２３２には、記録再生制御部２４から切換制御信号ＣＴＲが供給されており、この切換制御信号ＣＴＲに基づき切換スイッチ２３２の動作が制御されて、再生増幅回路２３１a，２３１bから出力された信号が選択されて、再生信号ＳＲとしてデコーダ２３３に供給される。デコーダ２３３は、再生信号ＳＲの復号化やデータの分離，デシャフリング、誤り訂正処理等を記録再生制御部２４から供給された動作制御信号ＣＴＭに基づいて行い、画像および／または音声を示す主データに、この主データのフレームレート情報を含む付属情報が連結されている素材データＤＴmを生成して出力する。

記録再生制御部２４には、ユーザインタフェース部２５が接続されており、ユーザインタフェース部２５から供給された操作信号ＰＳvや編集装置３０等の外部機器から供給された操作信号ＰＳwに基づき、切換制御信号ＣＴＷ，ＣＴＲ、エンコーダ２１１およびデコーダ２３３の動作を制御する動作制御信号ＣＴＭを生成する。また、記録再生制御部２４は、磁気テープや回転ヘッドの駆動制御も行う。さらに、記録再生制御部２４は、表示信号ＰＨを生成して表示部２６に供給することで、ビデオテープレコーダの動作状態や種々の情報等の表示を行う。

なお、図１０では、素材データＤＴmを磁気テープに記録する場合を示したが、光や磁気を利用したディスク状記録媒体あるいは半導体記憶素子等を用いる信号再生装置であっても良い。

さらに、信号記録装置２０は、映像データＤＶや音声データＤＡと付属情報ＤＭを連結して記録あるいは出力できれば良く、入力される素材データＤＴmは、データストリームやヘッダ等に付属情報が挿入された素材データＤＴmに限られるものではない。例えば異なる信号線を介して供給されるものであっても良い。

このように、主データに対して付属情報ＤＭを連結すれば、撮像装置１０，１０aで生成されたデータあるいは信号記録装置２０によって記録媒体に記録されているデータを利用して、編集処理や可変速再生を容易に行うことができる。

ここで、主データに対して付属情報ＤＭが連結されているデータの編集処理では、設定フレームレートＦＲsに基づいて再生可能速度を設定する。この再生可能速度の設定では、一定のフレーム間隔で間引きを行うものとしたりフレーム繰り返しを行うことで自然な再生画像を得ることができるように、再生可能速度を設定する。例えば、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍数が１よりも大きいとき、即ち、ＦＲｓ／ＦＲｒ＞１の時、この倍数の約数で１以外のものを求めて、求めた約数の逆数を算出することで再生可能速度を設定できる。すなわち、設定フレームレートＦＲsが基準フレームレートの１０倍であるとき、１以外の約数は「２，５，１０」となり、この約数の逆数「１／１０，１／５，１／２」となる。この約数の逆数を選択することで１倍速未満の再生可能速度を設定できる。また、１倍速以上の再生可能速度は自然数倍とすることで、各再生速度において行う間引き間隔を等しくできる。

基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍数が１よりも小さいときには、即ち、ＦＲｓ／ＦＲｒ＜１の時には、この倍数の逆数を求めて逆数の１以外の約数あるいは逆数の整数倍の値を算出することで再生可能速度を設定できる。すなわち、設定フレームレートＦＲsが基準フレームレートの（１／６）倍であるとき、逆数の１以外の約数は「２，３，６」となり、逆数の整数倍は「６，１２，１８，・・・」となる。この中の値を選択して再生可能速度とすれば、各再生速度において行う間引き間隔あるいは繰り返し回数を等しくできる。また、１倍速以下の再生可能速度は（１／自然数）倍とすることで、各再生速度における繰り返し回数を等しくできるが、画像の繰り返しであることから、再生可能速度の下限を１倍速としても良い。

図１１は、付属情報を利用した編集操作のためのＧＵＩ画面を示している。例えばＧＵＩ画面では、素材管理表示として素材管理ブラウザ４０１が左上に設けられており、左下には再生順序表示としてストーリーボード４０２が設けられている。画面中央には再生画像表示として、編集前や編集後の画像を表示するモニタービューワー４０３、中央下側には、再生時間順表示としてのタイムライン４０４が設けられている。また、モニタービューワー４０３とタイムライン４０４との間には、動作コントロール部４０５が設けられている。なお、図１１Ａは再生速度が１倍速、図１１Ｂは（１／１０）倍速、図１１Ｃは２倍速のときのＧＵＩ画面である。また、素材管理ブラウザ４０１、ストーリーボード４０２、モニタービューワー４０３、タイムライン４０４、動作コントロール部４０５の配置や形状は例示的なものであり、限定的なものでないことは勿論である。

素材管理ブラウザ４０１は、編集に用いる素材データの一覧を示すものであり、記憶している素材データのタイトルや長さおよび内容を示すスタンプ画（サムネイル画）等が素材毎に表示される。

ストーリーボード４０２は、コンテンツ生成の作業を行う場所であり、素材データを再生順に並べることでコンテンツの生成を行う。モニタービューワー４０３では、素材データに基づく画像を表示するだけでなく、再生位置表示や再生速度の可変範囲を示す可変速度バー表示を行う。

タイムライン４０４は、時間軸に沿って素材データを貼りつけていくことでコンテンツ生成の作業をより詳細に行うための場所である。動作コントロール部４０５では、素材データやタイムライン４０４上に並べたコンテンツの再生を行うための操作キー表示を行う。

ここで、選択した素材データの再生時には、付属情報ＤＭに基づいて設定フレームレートＦＲsを識別して、再生速度ＦＰと設定フレームレートＦＲsを乗算して識別値ＦＤを算出して、この識別値ＦＤに基づいて再生処理条件を決定する。例えば、図１１Ａの画面表示で示すように再生速度が１倍速とされていて、設定フレームレートＦＲsが基準フレームレートＦＲrに対して１０倍速とされているとき、識別値ＦＤは「１０×１＝１０」となる。なお、図１２Ａは、設定フレームレートＦＲsが基準フレームレートＦＲrに対して１０倍速とされているときの映像データＤＶに基づく画像を示している。また図１２Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRs、図１２Ｃはサブフレーム番号ＢＮを示すフレーム識別情報ＤＭ-BN、図１２Ｄは絶対フレーム番号ＡＮをそれぞれ示している。ここで、設定フレームレートＦＲsが基準フレームレートＦＲrに対して１０倍速とされていることから、基準フレームレートＦＲrの１フレーム期間中には設定フレームレートＦＲsのフレーム画像が１０フレーム分含まれることとなり、サブフレーム番号ＢＮは「０」〜「９」までが繰り返されることとなる。

識別値ＦＤが「ＦＤ＝１０」であるときには、図１２Ｅ〜図１２Ｇに示すように、１０フレーム目毎すなわち映像データＤＶを９フレーム分飛ばしながら用いて映像信号Ｓvmを生成することで、この映像信号Ｓvmに基づき１倍速の再生画像をモニタービューワー４０３に表示できる。なお、図１２Ｅは表示される画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭ-BN、図１２Ｆは表示される画像の絶対フレーム番号ＡＮ、図１２Ｇは映像信号Ｓvmで表示されるフレーム画像を示している。

次に、タイムライン４０４におけるフレーム画像表示領域４０４aの表示幅を矢印Ａ方向に広げる操作や、速度可変コンソール表示４０３cの太線で示すカーソル位置を矢印Ｂ方向に移動する操作が行われると、再生速度を遅くする操作がなされたものと処理する。ここで、例えば（１／１０）倍速に設定されたときには図１１Ｂに示すように、モニタービューワー４０３の再生速度表示４０３bを（１／１０）倍速に変更する。また、速度可変コンソール表示４０３cのカーソル位置を（１／１０）倍速の位置とする。さらに再生時間が長くなることから、フレーム画像表示領域４０４aの表示幅を広くする。

図１１Ｂの画面表示で示すように再生速度が（１／１０）倍速での再生では、識別値ＦＤが「１０×（１／１０）＝１」となる。識別値ＦＤが「ＦＤ＝１」であるときには、「ＦＤ＝１」フレーム目毎すなわち映像データＤＶを毎フレーム用いて映像信号Ｓvmを生成することで、この映像信号Ｓvmに基づき、図１２Ａに示す（１／１０）倍速の再生画像をモニタービューワー４０３に表示できる。

また、タイムライン４０４におけるフレーム画像表示領域４０４aの表示幅を矢印Ｂ方向に縮める操作や、速度可変コンソール表示４０３cのカーソル位置を矢印Ａ方向に移動する操作が行われると、再生速度を速くする操作がなされたものと処理する。ここで、例えば２倍速に設定されたときには図１１Ｃに示すように、モニタービューワー４０３の再生速度表示４０３bを２倍速に変更する。また、速度可変コンソール表示４０３cのカーソル位置を２倍速の位置とする。さらに再生時間が短くなることから、フレーム画像表示領域４０４aの表示幅を狭くする。

図１１Ｃの画面表示で示すように再生速度が２倍速での再生では、識別値ＦＤが「１０×２＝２０」となる。識別値ＦＤが「ＦＤ＝２０」であるときには、図１２Ｈ〜図１２Ｋに示すように、「ＦＤ＝２０」フレーム目毎すなわち映像データＤＶを１９フレーム分飛ばしながら用いて映像信号Ｓvmを生成することで、この映像信号Ｓvmに基づき２倍速の再生画像をモニタービューワー４０３に表示できる。なお、図１２Ｈは表示される画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭ-BN、図１２Ｊは表示される画像の絶対フレーム番号ＡＮ、図１２Ｋは映像信号Ｓvmで表示されるフレーム画像を示している。

このように、付属情報ＤＭを利用することで、設定フレームレートＦＲsの素材データを様々な再生スピードとして組み合わせことで、所望の放送や配信用等のコンテンツデータを容易に生成することができる。また、編集後の映像データに対応する付属情報を連結させてコンテンツデータを生成すれば、コンテンツデータに含まれている付属情報を利用して編集装置と同様な処理をユーザ側で行うことにより、ユーザ側でもコンテンツの再生速度を可変することが可能となり、例えば、設定フレームレートＦＲsを基準フレームレートＦＲrよりも高くしてスポーツ中継等の素材データを生成して、この素材データを用いて付属情報を有したコンテンツデータを生成すれば、ユーザは通常は1倍速で見ながら、所望のシーンだけスローで見ることが可能となる。

以上のように、本発明は、映像データのフレームレートを所望の設定フレームレートに可変設定する際に有用であり、フレームレート情報を含む付属情報が映像データに連結されていることから、このフレームレートが可変設定された映像データを素材として編集処理を行う場合に好適である。

コンテンツ提供システムの構成を示す図である。 撮像装置の構成を示す図である。 サブフレーム番号の付加動作を示すフローチャートである。 ＳＤＩフォーマットを示す図である。 ＳＤＴＩフォーマットを示す図である。 ＳＤＴＩ−ＣＰフォーマットを示す図である。 撮像装置の他の構成を示す図である。 映像データと付属情報の関係（その１）を示す図である。 映像データと付属情報の関係（その２）を示す図である。 ビデオテープレコーダの構成を示す図である。 編集操作時のＧＵＩ画面を示す図である。 画像再生動作を示す図である。

符号の説明

１０，１０a・・・撮像装置、１２・・・撮像部、１３，１７・・・信号処理部、１４，１８・・・制御部、１５・・・出力部、１６・・・ユーザインタフェース部、１９・・・音声入力装置、１３１・・・カメラ処理回路、１３２・・・音声処理回路、１４１，１８１・・・撮像制御回路、１４２，１８２・・・タイミングジェネレータ、１７１・・・有効データ選別回路、１８３・・・有効フレーム信号生成回路、４０１・・・素材管理ブラウザ、４０２・・・ストーリーボード、４０３・・・モニタービューワー、４０３b・・・再生速度表示、４０３c・・・速度可変コンソール表示、４０４・・・タイムライン、４０４a・・・フレーム画像表示領域、４０５・・・動作コントロール部

Claims (8)

1. 撮像素子から信号を読み出して、撮像画像に基づいた撮像信号を生成する撮像手段と、
   前記撮像信号に基づいて映像データを生成する信号処理手段と、
   前記撮像手段と前記信号処理手段の少なくとも一方の動作を制御して、前記映像データのフレームレートを所望の設定フレームレートに可変設定し、少なくとも該設定フレームレートを示す付属情報を生成する制御手段と、
   前記映像データに対して前記付属情報を連結させて出力する出力手段とを有し、
   前記制御手段は、基準フレームレートの１フレーム期間内に含まれる前記設定フレームレートの各フレームに対してサブフレーム番号を付加し、該サブフレーム番号を前記付属情報に含める
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記撮像素子からの信号読み出しタイミングを可変することで、前記映像データのフレームレートを可変設定する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記制御手段は、前記信号処理手段を制御してフレーム間引きを行うことで、前記映像データのフレームレートを可変設定する
   ことを特徴とする請求項１記載の撮像装置。
4. 前記制御手段は、前記撮像素子からの信号読み出しタイミングを可変制御し、前記信号処理手段を制御してフレーム加算を行うことで、前記映像データのフレームレートを可変設定する
   ことを特徴とする請求項１記載の撮像装置。
5. 撮像素子から読み出した信号を基に映像データを生成するステップと、
   前記映像データのフレームレートを所望の設定フレームレートに可変設定するステップと、
   前記設定フレームレートを示すフレームレート情報を含む付属情報を生成するステップと、
   前記映像データに対して前記付属情報を連結させて出力するステップを有し、
   前記付属情報を生成するステップでは、基準フレームレートの１フレーム期間内に含まれる前記設定フレームレートの各フレームに対して割り当てられたサブフレーム番号を前記付属情報に含める
   ことを特徴とする撮像方法。
6. 前記可変設定するステップでは、前記撮像素子からの信号読み出しタイミングが可変設定されることで、前記映像データのフレームレートが可変設定される
   ことを特徴とする請求項５記載の撮像方法。
7. 前記可変設定するステップでは、フレーム間引きが行われることで、前記映像データのフレームレートが可変設定される
   ことを特徴とする請求項５記載の撮像方法。
8. 前記可変設定するステップでは、前記撮像素子からの信号読み出しタイミングが可変設定されるとともに、フレーム加算が行われることで、前記映像データのフレームレートが可変設定される
   ことを特徴とする請求項５記載の撮像方法。
   

Images