JP2021064903A - 撮像装置、制御方法およびプログラム - Google Patents

Abstract

【課題】同期撮影の際にフレームに正しいタイムコードを付与することを目的とする。【解決手段】撮像装置は、フレーム情報を拡張したサブフレーム情報を含む第１のタイムコードを記録するか、または、サブフレーム情報を含まない第２のタイムコードを記録するかを設定可能な設定手段と、動画像データを記録する際に、第２のタイムコードの記録を行う設定がされ、外部装置から同期信号が入力されている場合に、第１のタイムコードを記録するように変更する変更手段と、を含む。【選択図】図５

Description

本発明は、撮像装置、制御方法およびプログラムに関する。

近年のビデオカメラは、高解像度および高フレームレートで撮影を行うことができるようになってきている。例えば、１フレームの画素数が１９２０×１０８０画素以上の４Ｋ（１フレームが４０９６×２１６０）や８Ｋ（１フレームが８１９２×４３２０）等のＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）と称される映像信号を用いた撮影を行うことができる。また、フレームレートも、６０ｐ以上の１２０ｐや２４０ｐ、９６０ｐ等の高いフレームレートにシフトしている。そして、上述した高解像度および高フレームレートでの撮影に対応した規格化も進んでいる。

従来、タイムコードは６０ｐまでしか表現できなかったが、ＳＭＰＴＥ ＳＴ １２−３規格により、６０ｐ以上のタイムコードを付与することが可能になっている。また、外部出力端子においても、ＨＤＭＩ(登録商標） ２．１の規格により、高リフレッシュレート化やリフレッシュレートの可変機能が可能になっている。関連する技術として、特許文献１および特許文献２の撮像装置が提案されている。特許文献１の撮像装置では、外部機器において複数フレームに同じタイムコードが付加される動画像を記録および再生する場合であっても、各フレームに重複のないタイムコードを利用することができる。また、特許文献２の撮像装置は、外部装置から入力された映像同期信号及びタイムコードの位相と、撮像装置内部のシステムクロック及びタイムコードの位相とを合わせている。

特開２０１５−１９２２２７号公報 特許第５８５４８３２号

複数のビデオカメラを用いて同期撮影を行う場合、各ビデオカメラが撮影したフレームに付与されたタイムコードを用いて、各フレームの位相合わせが行われる。ここで、複数のビデオカメラのうち１台のビデオカメラが他のビデオカメラと異なるフレームレートで撮影を行うことがある。この場合、連続したフレームに対して正しいタイムコードが付与されなくなることがある。

本発明は、同期撮影の際にフレームに正しいタイムコードを付与することを目的とする。

上記目的を達成するために、本発明の撮像装置は、フレーム情報を拡張したサブフレーム情報を含む第１のタイムコードを記録するか、または、前記サブフレーム情報を含まない第２のタイムコードを記録するかを設定可能な設定手段と、動画像データを記録する際に、前記第２のタイムコードの記録を行う設定がされ、外部装置から同期信号が入力されている場合に、前記第１のタイムコードを記録するように変更する変更手段と、を備えることを特徴とする

本発明によれば、同期撮影の際にフレームに正しいタイムコードを付与することができる。

実施形態の撮像装置の一例を示す図である。 ＭＸＦのフォルダ構造およびコンテナ構造の一例を示す図である。 タイムコードおよび拡張タイムコードの一例を示す図である。 動画像データのフレームレートおよびリフレッシュレートのタイミングチャートを示す図である。 本実施形態の処理の流れを示すフローチャートである。 ２台のビデオカメラによるマルチ撮影における各フレームのタイミングチャートの一例を示す図である。 ＵＩ画面の一例を示す図である。 ＵＩ画面の他の例を示す図である。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

図１は、本実施形態の撮像装置１００の一例を示す図である。撮像装置１００は、例えば、ビデオカメラである。撮像装置１００には、例えば、外部装置として他の撮像装置（ビデオカメラ）が接続される。また、所定の情報処理装置に対して複数の撮像装置１００が接続されているシステム構成の場合、複数の撮像装置うちの１つが図１の撮像装置１００であってもよい。撮像装置１００には、所定の端子を介して、外部の撮像装置や所定の情報処理装置から映像同期信号およびタイムコード情報が入力される。所定の端子としては、ＳＤＩ（ＳｅｒｉａｌＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）端子やＨＤＭＩ（Ｈｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）端子等を適用することができる。

撮像装置１００は、システム制御部１０１、撮像部１０２、撮像素子部１０３、動画像記憶部１０４、表示部１０５、表示データ記憶部１０６、入力部１０７およびシステムクロック生成部１０８を有する。システム制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、システムタイマ等を含む。ＲＯＭに格納された制御プログラムがＲＡＭに展開され、ＣＰＵがＲＡＭに展開された制御プログラムを実行することで、本実施形態の処理が実現される。システム制御部１０１のＣＰＵは、図１に示されるシステムクロック生成部１０８が生成するクロックで動作する。システム制御部１０１は、マイコンやプログラミング回路等であってもよい。システム制御部１０１は、設定手段、変更手段および表示制御手段に対応する。

撮像部１０２は、フォーカスレンズやズームレンズ、絞り、シャッター等の光学部を含み、入射する光学像に対して光学処理を行う。撮像素子部１０３は、撮像部１０２が光学処理した光学像を電気信号に変換する処理を行う。変換された電気信号は、撮像信号制御部１０９に出力される。撮像素子部１０３は、ＣＣＤ（Ｃａｒｈｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子で構成される。

動画像記憶部１０４は、動画像データを記憶し、メモリカードや内蔵メモリ等から構成される。表示部１０５は、表示制御部１１１の制御により、所定の画面（ＵＩ画面等）を表示する。表示データ記憶部１０６は、表示部１０５に表示される表示データを記憶する。入力部１０７は、ユーザによる入力操作を受け付ける部材であり、例えば、ジョグダイヤルやダイヤルスイッチ等を適用することができる。

次に、システム制御部１０１について説明する。撮像信号制御部１０９は、撮像素子部１０３が出力した電気信号に対してＡ／Ｄ変換処理や増幅処理等の画像処理を施して、映像信号を生成する。生成される映像信号は記録方式によりフレームレート（１秒間のフレーム数）が異なる。ＮＴＳＣ方式の場合、フレームレートは、１２０ｐ、６０ｐ、６０ｉ、３０ｐまたは２４ｐの何れかである。ＰＡＬ方式の場合、フレームレートは、１００ｐ、５０ｐ、５０ｉまたは２５ｐの何れかである。記録される画像のサイズは「４０９６×２１６０」や「３８４０×２１６０」、「２１６０×１０８０」、「１９２０×１０８０」、「１２８０×７２０」、「１４４０×１０８０」等を設定することができる。以下、記録される画像のサイズ（記録画像サイズ）は「１９２０×１０８０」であり、フレームレートは３０ｐに設定されているものとして説明する。ただし、記録画像サイズおよびフレームレートは、任意に設定されてよい。撮像信号制御部１０９が生成した映像信号は、動画像制御部１１０に送られる。

動画像制御部１１０は、映像信号の圧縮（エンコード）や伸張（デコード）を行う機能を有している。動画像制御部１１０は、撮像信号制御部１０９から映像信号が送られてきた場合、映像信号を圧縮し、圧縮された映像信号により構成される動画像データを動画像記憶部１０４に記憶させる。また、入力制御部１１３から指示が送られてきた場合、動画像制御部１１０は、動画像記憶部１０４から指示に応じた動画像データを読み出す。動画像制御部１１０は、動画像記憶部１０４から動画像データを読み出すと、動画像データの伸張を行い、動画像データを表示制御部１１１に送る。表示制御部１１１は、表示部１０５に動画像データを表示する制御を行う。これにより、動画像データが表示部１０５に表示される。また、動画像制御部１１０は、タイムコード位相制御部１１４からタイムコードが送られてきた場合、映像信号にタイムコードを重畳してから圧縮を行う。動画像制御部１１０は、撮像信号制御部１０９が出力する映像信号や動画像記憶部１０４から読み出される動画像データを外部出力制御部１２４に送ることができる。

ここで、本実施形態では、動画像データは、タイムコード等の管理情報や音声データをＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）というコンテナ構造で記録されるものとする。ただし、動画像データは、ＡＶＣＨＤ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）やＭＰ４（ＭＰＥＧ−４ Ｐａｒｔ１４またはＩＳＯ／ＩＥＣ１４４９６−１４：２００３）等のファイルフォーマットであってもよい。

図２（ａ）は動画像記憶部１０４に記録されるＭＸＦのフォルダ構造を示す図であり、図２（ｂ）は、ＭＸＦのコンテナ構造を示す図である。入力部１０７に対する指示（ユーザの指示等）により動画像記憶部１０４が初期化されると、ＣＯＮＴＥＮＴＳフォルダ２０１およびクリップフォルダ２０２が生成される。図２（ｂ）では、クリップフォルダ２０２は、ＣＬＩＰＳ００１と示されている。また、入力部１０７に対するユーザの指示により、動画像データの記録が開始されるとストリームファイル（ＭＸＦファイル２０４）および編集情報（ＸＭＬファイル２０５）が１つのクリップ内に記録される。図２（ａ）には、ＭＸＦファイル２０４として「Ａ００１Ｃ００１＿１４１１２０ＸＸ．ＭＸＦ」およびＸＭＬファイル２０５として「Ａ００１Ｃ００１＿１４１１２０ＸＸ．ＸＭＬ」が記録される例が示されている。複数のクリップが記録されていくと、ＭＸＦファイルおよびＸＭＬファイルは、ファイル名が変更されて、増加していく。インデックスファイル２０３（図２（ａ）では、ＩＮＤＥＸ．ＭＩＦ）は、複数のクリップ情報を纏めて管理するファイルである。

各クリップ情報は、インデックスファイル２０３に纏めて管理される。このため、クリップ数が増えたとしても、解析を行う際には、クリップ単位で解析を行う必要はなく、インデックスファイル２０３を解析すればよい。これにより、解析時間を軽減できる。また、フレーム単位に設定する必要があるフレーム番号やタイムコード等の情報はＭＸＦファイル２０４に記録される。

図２（ｂ）において、ヘッダ２１０（Ｈｅａｄｅｒ Ｍｅｔａｄａｔａ）は、ファイルの開始を示す。ヘッダ２１０には、ファイルに関するメタデータが記録されている。ヘッダ２１０には、動画像データを記録する際の解像度やフレームレートの情報、再生リフレッシュレートの情報等が記録される。これら各情報は、メタデータを構成するデータある。メタデータには、他の情報が含まれていてもよい。再生リフレッシュレートの情報については、後述する。フレーム２１１は、フレームのデータであり、メタデータ２１３（Ｓｙｓｔｅｍ Ｍｅｔａｄａｔａ）、画像データ２１４および音声データ２１５により構成されている。フッタ２１２（Ｆｏｏｔｅｒ Ｍｅｔａｄａｔａ）はファイルの終了を示す情報である。フレーム番号は、開始フレームを「０」として、フレームのメタデータ２１３の領域に記録される。ＸＭＬファイル２０５は、マークアップ言語のＸＭＬ（ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）ファイルであり、タグ情報を使用して編集情報を書き込むこともできる。

外部出力制御部１２４は、動画像制御部１１０から送られてくる動画像データを外部装置に出力する。外部装置としては、上述したように、所定の情報処理装置や他の撮像装置がある。外部出力制御部１２４には、ＳＤＩ（ＳｅｒｉａｌＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）端子やＨＤＭＩ（Ｈｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）端子等を採用することができる。動画像記憶部１０４は、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、Ｈ．２６４、Ｈ．２６５等の形式に基づいた動画像データを記憶することができる。動画像記憶部１０４は、動画像制御部１１０から受けた指示により動画像データの書き込みや読み出しを行うことができる。

入力制御部１１３は、入力部１０７が受け付けた入力操作の指示を各部に伝える。入力部１０７は、ユーザが撮像装置１００を操作する際に用いられる。入力制御部１１３が、動画像制御部１１０に指示を送ることで記録開始や記録停止、記録フレームレートの選択等が行われる。また、入力制御部１１３が、表示データ制御部１１２に指示を送ることで、表示データ記憶部１０６から所望の表示データを選択することができる。また、入力制御部１１３が、タイムコード制御部１１５に指示を送ることで、ユーザが任意に指定したタイムコードを設定することもできる。

表示データ制御部１１２は、入力制御部１１３が受け付けたユーザの指示により表示データを表示データ記憶部１０６から読み出す。表示データ記憶部１０６は、表示データを記憶しており、表示データ制御部１１２から受けた指示により表示データが読み出される。表示制御部１１１は、表示データ制御部１１２から送られる表示データと、動画像制御部１１０、タイムコード位相制御部１１４および同期信号位相制御部１２０からの情報とを合成し、表示データを表示可能な形式に変換する。そして、表示制御部１１１は、表示データを表示部１０５に出力することで、表示制御を行う。

表示部１０５は、表示制御部１１１により変換された表示形式の表示データを表示する。表示部１０５は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｍｏｎｉｔｏｒ）やＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）等の液晶画面により構成される。ただし、表示部１０５は、液晶画面には限定されない。動画像記憶部１０４および表示データ記憶部１０６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスク、半導体メモリ等の記憶媒体で構成される。

タイムコード生成部１１６は、タイムコード制御部１１５より受けた指示によりタイムコードの生成を行う。タイムコードは、時、分、秒、フレームおよびサブフレームの単位で生成可能である。設定されている記録フレームレートによってフレーム数は変わる。サブフレームは、フレームより精度の高いタイムコードの拡張情報である。図３は、タイムコードおよび拡張タイムコードの一例を示す図である。ここで、ＳＭＰＴＥ ＳＴ １２−１およびＳＭＰＴＥ ＳＴ １２−２で定義されているタイムコード設定値は、時間（ＨＨ３０１）、分（ＭＭ３０２）、秒（ＳＳ３０３）およびフレーム（ＦＦ３０４）で表現される。ＨＨ３０１では、「００〜２３」の時間が表現される。ＭＭ３０２では、「００〜５９」の分が表現される。ＳＳ３０３は「００〜５９」の秒が表現される。ＦＦ３０４は、「００〜２９」のフレームが表現される。

ここで、フレームレートが１２０ｐ等である場合、ＳＭＰＴＥ ＳＴ １２−１およびＳＭＰＴＥ ＳＴ １２−２で定義されているタイムコード設定値では、フレームを区別することができず、異なるフレームに同じタイムコード値が設定される。一方、ＳＭＰＴＥ ＳＴ １２−３に定義されているタイムコード設定値では、サブフレーム（ＳＦ３０５）が追加されている。図３の拡張タイムコードに示されるように、ＳＦ３０５は、「００〜３１」のサブフレームが表現される。これにより、ＦＦ３０４とＳＦ３０５とを用いて、９６０ｐ（＝３０×３２ｐ）の各フレームに対して異なるタイムコードを付加することができる。つまり、フレームレートが６０ｐよりも高い場合でも、各フレームに対して異なるタイムコードが付加されるため、各フレームを区別することができる。以下、フレーム（ＦＦ３０４）の情報をフレーム情報とし、サブフレーム（ＳＦ３０５）の情報をサブフレーム情報とする。

タイムコード制御部１１５は、タイムコード生成部１１６が生成したタイムコードを読み出して、タイムコード位相制御部１１４に送る。また、タイムコード制御部１１５は、タイムコード位相制御部１１４から送られてきたタイムコードをタイムコード生成部１１６に送ることで、撮像装置１００のタイムコードを変更することもできる。また、タイムコード制御部１１５は、入力制御部１１３から送られた指示（入力部１０７が受け付けた指示）をタイムコード生成部１１６にタイムコードを送る。

タイムコード位相制御部１１４は、タイムコード制御部１１５から送られてくるタイムコードと外部タイムコード制御部１１７から送られてくる外部タイムコードとの位相制御を行う。位相をずらす必要がある場合、タイムコード位相制御部１１４は、同期信号位相制御部１２０に位相をずらす量を送る。タイムコード位相制御部１１４は、外部タイムコード制御部１１７からタイムコードが送られてきた場合、タイムコード制御部１１５にタイムコードを送る。タイムコード制御部１１５は、送られてきたタイムコードに基づいて、撮像装置１００のタイムコードを変更する。タイムコード位相制御部１１４と動画像制御部１１０とがタイムコードを共有することで、映像信号にタイムコードを重畳してから圧縮することができる。また、伸張した映像信号からタイムコードを取得することができる。さらに、タイムコード位相制御部１１４は、位相制御したタイムコードを表示制御部１１１に送ることで表示部１０５にタイムコードを表示することができる。

システムクロック制御部１２３は、同期信号位相制御部１２０からシステムクロックの位相のずれ量が送られてきた場合、システムクロック生成部１０８に対して位相のずれを吸収させる制御を行う。この場合、システムクロック制御部１２３は、システムクロック生成部１０８のＰＬＬ（ＰｈａｓｅＬｏｃｋＬｏｏｐ）制御を行い、位相を合わせる制御を行う。

同期信号位相制御部１２０は、外部同期信号制御部１２１から送られてくる映像の水平同期信号および垂直同期信号と、システムクロック制御部１２３から送られてくるシステムクロックとの位相のずれ量を算出する。同期信号位相制御部１２０は、算出結果をシステムクロック制御部１２３に送り、撮像装置１００のシステムクロックの位相をずらす要求を出す。また、タイムコード位相制御部１１４から送られてくる内部タイムコードと外部タイムコードとの位相がずれている場合、同期信号位相制御部１２０には位相のずれ量が送られてくる。同期信号位相制御部１２０は、位相のずれ量をシステムクロック制御部１２３に送る。これにより、外部の動作周期と内部の動作周期とが異なる場合でも、タイムコードのずれ量を考慮したシステムクロックの位相をずらす要求を行うことが可能である。また、同期信号位相制御部１２０は、表示制御部１１１に位相合わせが完了した通知を送る。これにより、表示部１０５に位相合わせが完了したことを表示することができる。

外部入力信号検出部１１９は、外部装置から信号（入力信号）が入力されたかを検出する。外部入力信号検出部１１９は、入力信号から、タイムコード信号（以下、外部タイムコード信号）と映像同期信号（同期信号）とを分離する。外部タイムコード信号は外部タイムコード信号検出部１１８に送られ、映像同期信号は外部同期信号検出部１２２に送られる。外部タイムコード信号検出部１１８は、外部タイムコード信号を検出する。外部タイムコード制御部１１７は、外部タイムコード信号検出部１１８から送られてくる外部タイムコードの周波数やサブフレーム情報の有無を検出し、タイムコード位相制御部１１４に通知する。外部同期信号検出部１２２は、例えば、ＳＤＩ端子や同期信号入力端子等を用いて、映像同期信号を検出する。外部同期信号制御部１２１は、映像同期信号から水平同期信号および垂直同期信号を抽出し、抽出した水平同期信号および垂直同期信号を同期信号位相制御部１２０に送る。

次に、動画像データのフレームレートおよびリフレッシュレートのタイミングチャートについて説明する。図４（ａ）は、動画像記憶部１０４に記憶される動画像データの記録フレームレートのタイミングチャートの一例を示す図である。図４（ａ）のうち、固定フレームレート（Ｃｏｎｓｔａｎｔ Ｆｒａｍｅ Ｒａｔｅ：ＣＦＲ）は、固定のフレームレート（図４（ａ）では３０ｐとする）で、Ａ１フレーム、Ａ２フレーム・・・という順序で各フレームを撮影し記録する。図４（ａ）のうち、可変フレームレート（Ｖａｒｉａｂｌｅ Ｆｒａｍｅ Ｒａｔｅ：ＶＦＲ）は、記録フレームレートが可変である。図４（ａ）の可変フレームレートの場合、Ａ１フレームからＡ４フレームまでは３０ｐの撮影フレームレートで撮影し、Ａ５フレームからＡ８フレームまでは１２０ｐの撮影フレームレートで撮影し、Ａ９フレーム以降は３０ｐの撮影フレームレートで撮影し、各フレームを撮影順で記録する。

次に、リフレッシュレートについて、説明する。図４（ｂ）は、リフレッシュレートのタイミングチャーの一例を示す図である。リフレッシュレートは、動画像記憶部１０４に記憶される動画像データを読み出した映像や撮像部１０２により撮像された映像を表示部１０５や外部出力制御部１２４に出力するときの周期である。図４（ｂ）のうち固定リフレッシュレート（Ｃｏｎｓｔａｎｔ Ｒｅｆｒｅｓｈ Ｒａｔｅ：ＣＲＲ）は、３０ｐの固定リフレッシュレートで映像を出力した例を示す。図４（ｂ）のうち可変リフレッシュレート（Ｖａｒｉａｂｌｅ Ｒｅｆｒｅｓｈ Ｒａｔｅ：ＶＲＲ ）は、再生リフレッシュレートが可変であることを示す。図４（ｂ）の可変リフレッシュレートでは、Ａ１フレームからＡ４フレームまでは３０ｐであり、Ａ５フレームからＡ８フレームまでは１２０ｐであり、Ａ９フレーム、Ａ１０フレーム・・・は３０ｐで映像が出力される。

図４（ｃ）は、ＶＦＲで記録された動画像データを、ＣＲＲで映像出力する場合およびＶＲＲで映像出力する場合のタイミングチャートを示す図である。以下、映像の出力先は表示部１０５であり、動画像データは表示部１０５で再生されるものとして説明する。ＶＦＲで記録された動画像データをＣＲＲで再生する場合、Ａ５フレームからＡ８フレームまでは１２０ｐで記録していたフレームが３０ｐとして再生される。このため、Ａ５フレームからＡ８フレームまでは、「１／４」のスロー再生であることが分かる。一方、ＶＦＲで記録された動画像データをＶＲＲで再生する場合、Ａ５フレームからＡ８フレームまでは１２０ｐで記録されたフレームは１２０ｐとして再生される。これにより、Ａ５フレームからＡ８フレームまでは、記録時と同じ等倍再生（１２０Ｈｚのリフレッシュレート再生）であることが分かる。

このため、ＣＲＲ再生するかＶＲＲ再生するかによって、ＶＦＲで動画像データを記録する場合の記録時のタイムコードの制御を変える必要がある。外部出力制御部１２４に対する映像出力も同様に、記録時のタイムコードの制御を変える必要がある。図４（ｃ）のように、ＶＦＲ記録した動画像データを、ＣＲＲで再生を行う場合、ＶＦＲ記録時のタイムコードはＣＲＲで再生を行う際のフレームレートである３０ｐとして制御を行う必要がある。この制御が行われることで、ＣＲＲ再生時に、ＶＦＲ記録時に１２０ｐで記録された部分が「１／４」のスロー再生がされることとなる。これに対し、ＶＲＲで再生を行う場合、１２０ｐで記録されたフレームからＡ８フレームまでは、１２０ｐで再生される。１２０ｐでも、正しいタイムコードを付与できるように、サブフレーム情報を含むタイムコードを記録するように制御を行う必要がある。この制御が行われることで、ＶＲＲ再生時に１２０ｐで記録した部分（Ａ５フレームからＡ８フレームまでの部分）が記録時と同じフレームレート（１２０ｐ）で再生できるようになる。

このように、再生リフレッシュレートを考慮してタイムコードを付与する必要がある。そのため、本実施形態では、再生リフレッシュレートがＶＲＲに設定されている場合は、サブフレーム情報を含むタイムコードを記録し、再生リフレッシュレートがＣＲＲに設定されている場合は、サブフレーム情報を含まないフレームレートを記録する。つまり、ＶＲＲに設定された場合は、サブフレームを含むタイムコードを記録する設定となり、ＣＲＲが設定された場合は、サブフレームを含まないタイムコードを記録する設定となる。ただし、再生リフレッシュレートが６０ｐよりも大きくなる場合は、サブフレーム情報を含むタイムコードを記録するようにしてもよい。

次に、本実施形態の処理の流れについて説明する。図５は、本実施形態の処理の流れを示すフローチャートである。上述したように、本実施形態では、複数のビデオカメラを用いたマルチ撮影が実行可能である。図５のフローチャートは、マルチ撮影が行われる場合において、複数のビデオカメラのうち１つの撮像装置１００が本実施形態の処理を実行する流れを示す。システム制御部１０１は、入力部１０７を介してユーザが受けた指示によりＶＦＲ記録モードに設定されているかどうかを判定する（Ｓ５０１）。Ｓ５０１でＮｏと判定された場合、ＣＦＲ記録モードの処理を実行する。つまり、図５の処理は、ＶＦＲ記録がされる場合に行われる。ここで、ＶＦＲ記録モードは、動画像データの撮影中に、ユーザの指示に応じて、撮影フレームレートを変更可能な記録モード（撮影モード）である。そして、ＣＦＲ記録モードは、撮影中には撮影フレームレートを変更できず、撮影前に設定された撮影フレームレートで撮影し、撮影した動画像データを記録する記録モード（撮影モード）である。なお、図５のフローチャートの各処理は、本実施形態に関する処理であり、撮像装置１００は図５のフローチャートの各処理と共に他の処理を行うことができる。

システム制御部１０１は、入力部１０７を介してユーザからの指示によりＳ５０２があるかどうかを判定する（Ｓ５０２）。Ｓ５０２でＮｏと判定された場合、フローは、次のステップに進まず、Ｓ５０２に戻る。記録開始の要求がある場合、Ｓ５０２でＹｅｓと判定される。この場合、システム制御部１０１は、マルチ撮影が行われているかを判定する（Ｓ５０３）。システム制御部１０１は、外部同期信号検出部１２２が外部装置から映像同期信号（同期信号）の入力を検出したかに基づいて、マルチ撮影であるかを判定することができる。

Ｓ５０３でＹｅｓと判定された場合、システム制御部１０１は、入力部１０７を介したユーザからの指示により、再生時のリフレッシュレートの設定が、ＣＲＲ設定となっているか、またはＶＲＲ設定となっているかを判定する（Ｓ５０４）。本実施形態では、前述したように、ユーザにより設定された再生リフレッシュレートがＣＲＲである場合、タイムコード制御部１１５は、サブフレーム情報を考慮しない制御、つまり、サブフレーム情報を含まないタイムコードの記録を行う。一方、ユーザにより設定された再生リフレッシュレートがＶＲＲである場合、タイムコード制御部１１５は、サブフレーム情報を考慮した制御、つまり、サブフレーム情報を含むタイムコードの記録を行う。

ユーザにより設定された再生リフレッシュレートがＣＲＲである場合、Ｓ５０４でＹｅｓと判定される。この場合、システム制御部１０１は、再生リフレッシュレートの設定をＣＲＲからＶＲＲに変更する（Ｓ５０５）。つまり、ユーザにより、再生リフレッシュレートがＣＲＲに設定された場合でも、再生リフレッシュレートはＣＲＲからＶＲＲに変更される。これにより、再生リフレッシュレートがＣＲＲに設定され、サブフレーム情報を含まないタイムコードを記録する設定になっている場合であっても、タイムコード制御部１１５はサブフレームを考慮した制御、つまり、サブフレーム情報を含むタイムコードを記録する設定に変更する。マルチ撮影でなく、１台の撮像装置において動画像データの記録を行う場合は、映像（及びタイムコード）の同期をさせる必要がない。

そのため、ユーザに設定された再生リフレッシュレートに対応する形式のタイムコードを記録する。しかし、マルチ撮影の場合は、複数の撮像装置間で、タイムコードをそろえる必要がある。そして、動画像データをＶＦＲで記録し、再生リフレッシュレートがＣＲＲに設定されている場合には、動画像データを構成する各フレームに正しいタイムコードが付与されないことがある。そのため、マルチ撮影の場合は、再生リフレッシュレートにＣＲＲに設定されていても、ＶＲＲに変更することにより、正しいタイムコードを記録することができ、複数の撮像装置間で、タイムコードを同期させることができるようになる。

次に、動画像制御部１１０は、再生リフレッシュレートの情報を動画像データの付帯情報であるメタデータとして動画像記憶部１０４に記録するために再生リフレッシュレートの情報を一時保持する処理を実行する（Ｓ５０６）。再生リフレッシュレートの設定は、Ｓ５０５において、ＣＲＲからＶＲＲに自動で切り替えられている。しかし、ユーザに設定されていた再生リフレッシュレートはＣＲＲであった。そのため、Ｓ５０６では、再生リフレッシュレートはＶＲＲに変更しているが、動画像制御部１１０は、再生リフレッシュレートの設定に関するメタデータ（再生リフレッシュレートのメタデータ）をＣＲＲとして、ヘッダ２１０に記録するように制御する。再生リフレッシュレートのメタデータは、ヘッダ２１０ではなく、インデックスファイル２０３に記録してもよい。また、図５のフローには記載していないが、マルチ撮影時ではない通常の撮影時や、マルチ撮影で再生リフレッシュレートの設定がＶＲＲの時にも、再生リフレッシュレートのメタデータを記録する。このとき、設定されている再生リフレッシュレートを、再生リフレッシュレートのメタデータとして記録するようにする。

次に、動画像制御部１１０は動画像ファイルをオープンする（Ｓ５０７）。このとき、ファイルのヘッダ２１０には、Ｓ５０６で一時保持した再生リフレッシュレートのメタデータを記録する。そして、動画像制御部１１０は、Ｓ５０２で記録開始の指示を受け付けてから撮像素子部１０３により撮像し、撮像信号制御部１０９で画像処理され、撮像信号制御部１０９から送られてきた映像信号（フレーム）を圧縮して、符号化を行う（Ｓ５０８）。動画像制御部１１０は、圧縮された映像信号（フレーム）に対して、タイムコード制御部１１５から送られてきたタイムコードを含むメタデータを多重化して付与し、動画像記憶部１０４にフレームを記憶する（Ｓ５０９）。タイムコード生成部１１６はタイムコード制御部１１５の指示により、設定されている再生リフレッシュレートに応じたタイムコードのインクリメント制御を行う（Ｓ５１０）。本実施形態では、マルチ撮影である場合、タイムコード生成部１１６は、ＶＲＲで、撮影フレームレートに応じたタイムコードのインクリメント制御を行う。マルチ撮影ではなく、通常の（１台の撮像装置での）撮影の場合は、設定されている再生リフレッシュレート、つまり、ＶＲＲ設定かＣＲＲ設定か、及び、レートに応じたタイムコードのインクリメント制御を行う。

入力制御部１１３は、入力部１０７に対してユーザから記録停止の要求の操作がされたかを判定する（Ｓ５１１）。Ｓ５１１でＮｏと判定された場合、入力制御部１１３は、入力部１０７に対してユーザからの撮影フレームレート切り替え要求の操作がされたかを判定する（Ｓ５１２）。Ｓ５１２でＹｅｓと判定された場合、不図示の制御部により、撮像素子部１０３により撮影する際の撮影フレームレートが切り替える（Ｓ５１３）。そして、フローは、Ｓ５０８に戻る。Ｓ５１３でＮｏと判定された場合、Ｓ５１３の処理は行われず、フローは、Ｓ５０８に戻る。Ｓ５１１でＹｅｓと判定された場合、記録停止の要求の操作がされたため、動画像制御部１１０は、動画ファイルをクローズする（Ｓ５１４）。

上記のフローでは、マルチ撮影であるか否か、再生リフレッシュレート設定を、Ｓ５０２で記録開始の要求があった後に判定し、その結果に応じて、再生リフレッシュレートの変更を行った。しかし、マルチ撮影であるか否か、再生リフレッシュレート設定の判定を、記録開始の要求を受け付ける前の、ＶＦＲ記録モードの撮影スタンバイ（撮影待機）時に行うようにしてもよい。

図６は、２台のビデオカメラによるマルチ撮影における各フレームのタイミングチャートの一例を示す図である。２台のビデオカメラのうちカメラＡは、３０ｐのフレームレートで記録しているときに、フレームレートを１２０ｐに切り替え、その後、フレームレートを３０ｐに切り替える。一方、カメラＢは、固定された３０ｐのフレームレートで記録をし続ける。以下、１２０ｐは第１のフレームレートに対応し、３０ｐは第２のフレームレートに対応するものとして説明する。第１のフレームレートは、サブフレーム情報を用いた任意のフレームレートであり、第２のフレームレートは、サブフレーム情報を用いない任意のフレームレートである。従って、第１のフレームレートは、第２のフレームレートより高い。

図６に示されるように、カメラＡは、Ａ１フレームからＡ３フレームは、３０ｐのフレームレートで記録を行っており、タイムコードは再生リフレッシュレートをＶＲＲとして制御を行う。従って、タイムコードは、時、分、秒、フレームおよびサブフレームの順序で表現される。Ａ１フレームのタイムコードは、「００：００：００：００．０」である。フレームレートは３０ｐであるため、Ａ２フレームのタイムコードは、「００：００：００：０１．０」となる。同様に、Ａ３フレームのタイムコードは、「００：００：００：０２．０」となる。

ここで、Ａ３フレームが記録されている際に、入力部１０７に対してユーザより３０ｐから１２０ｐへのフレームレート切り替えの要求の操作があったとする。この場合、撮像部１０２や撮像信号制御部１０９は、Ａ４フレームから１２０ｐのフレームレートで記録するように制御する。Ａ４フレームからＡ１１フレームまでは、６０ｐより高いフレームレートであるフレームレート１２０ｐで記録されているため、タイムコードのサブフレームが使用される。Ａ４フレームのタイムコードは、「００：００：００：０３．０」となる。Ａ５フレームのタイムコードは、「００：００：００：０３．１」となる。そして、Ａ８フレームのタイムコードは、「００：００：００：０４．０」となる。ここで、Ａ９フレームが記録されているタイミングで、入力部１０７に対してユーザより１２０ｐから３０ｐへのフレームレート切り替えの要求があったとする。

Ａ９フレームのタイムコードは「００：００：００：０４．１」であり、サブフレームは「１」である。このタイミングでフレームレートが１２０ｐから３０ｐに切り替えられると、Ａ１０フレームから、フレームレートは３０ｐになる。この場合、記録された動画像データをＶＲＲ再生した場合、Ａ９フレームからＡ１０フレームで、タイムコードが「００：００：００：０４．１」から「００：００：００：０５．０」になり、ＶＲＲ再生時に実時間を保つことができなくなる。そこで、本実施形態では、動画像制御部１１０は、Ａ９フレームを記録している際に１２０ｐから３０ｐへのフレームレート切り替えの要求があった場合、Ａ１２フレームから３０ｐで記録するように制御する。つまり、動画像制御部１１０は、サブフレーム情報を用いずに記録を行っているときに、サブフレーム情報を用いた記録に切り替える要求があった場合、サブフレーム情報がゼロになったタイミングでフレームレートを切り替える。これにより、ＶＲＲ再生時に実時間を保つことが可能となる。また、Ａ１２フレーム以降の各フレームのフレームレートは３０ｐであるため、各フレームのサブフレームはゼロのままとなる。

カメラＢでは、Ｂ１フレームから固定されたフレームレート３０ｐで記録を行い、フレームレートの切り替えは行われない。ただし、再生リフレッシュレートの設定がＣＲＲであったとしても、タイムコードは再生リフレッシュレートがＶＲＲとして制御される。従って、タイムコードは、時、分、秒、フレームおよびサブフレームの順序で表現される。Ｂ１フレームのタイムコードは「００：００：００：００．０」であり、Ｂ２フレームのタイムコードは「００：００：００：０１．０」である。カメラＡでは、Ａ４フレームからフレームレートの切り替えが発生するが、カメラＢでは、フレームレート切り替えは発生しない。このため、３０ｐのフレームレートでＢ４フレームが記録される。Ｂ４フレームのタイムコードは「００：００：００：０３．０」である。Ｂ５フレーム移行、タイムコードのサブフレームはゼロのまま、タイムコードのフレームがインクリメントされていく。

図７および図８は、各種設定を行うＵＩ画面の一例を示す図である。ＵＩ画面は、表示部に１０５に表示される。図７および図８のＵＩ画面は、表示制御部１１１の制御により表示部１０５に表示される。この際、表示制御部１１１は、撮像部１０２から入力された動画像データの映像４００に対してＯＳＤ表示を重畳して表示部１０５に表示させる。図７（ａ）は、ＶＦＲ記録モードを設定するためのＵＩ画面を示す。ＵＩ画面は、残記録時間４０１と動作状況４０２とタイムコード表示４０３とモード選択画面４０４とを含む。残記録時間４０１は、動画像記憶部１０４にＳＤカード（登録商標）が適用された場合におけるＳＤカードの記録可能な残り時間を示す表示である。動作状況４０２は、撮像装置１００が記録動作を行っているかを示す表示である。撮像装置１００が記録動作を行っている場合には、所定のマークが表示される。タイムコード表示４０３は、タイムコード生成部１１６が生成したタイムコードを示す表示である。モード選択画面４０４は、ＶＦＲ記録モードを有効にするかを選択するための第１の画面である。つまり、モード選択画面４０４は、可変フレームレートで記録を行うモード、または固定フレームレートで記録を行うモードの何れかを選択する画面である。図７（ａ）の例では、ＶＦＲ記録モードは、ＯＮまたはＯＦＦを選択できる。ＶＦＲ記録モードがＯＮに設定された場合、可変フレームレートでの記録が選択される。ＶＦＲ記録モードがＯＦＦに設定された場合、固定フレームレートでの記録が選択される。

図７（ｂ）は、再生リフレッシュレートモードを設定するためのＵＩ画面を示す。図７（ａ）によりＶＦＲ記録モードがＯＮに設定されると、撮像装置１００の動作状況はＶＦＲ記録モードの記録待機状態になる。このため、表示制御部１１１は、動作状況４０２の表示を、記録待機状態であることを示す「ＶＦＲ ＳＴＢＹ」に変化させる。また、表示制御部１１１は、再生リフレッシュレートモードをＣＲＲとＶＲＲとの何れにするかを設定可能なモード選択画面４０４を表示する。ここで、上述したように、Ｓ５０５において、再生リフレッシュレートの設定が自動的にＶＲＲに変更された場合は、表示制御部１１１は、モード選択画面４０４において再生リフレッシュレートの選択ができないようにしてもよい。つまり、Ｓ５０５において再生リフレッシュレートの設定がＣＲＲからＶＲＲに自動的に変更された場合、ユーザによるタイムコードの設定の変更は許容されないようにしてもよい。例えば、表示制御部１１１は、モード選択画面４０４でＣＲＲとＶＲＲとの何れも選択できないように制御してもよいし、モード選択画面４０４を表示しないように制御してもよい。

図８（ａ）は、ＶＦＲ記録を開始し、記録中にフレームレート設定を行うＵＩ画面を示す。ＶＦＲ記録が行われている場合、表示制御部１１１は、動作状況４０２の表示を、ＶＦＲ記録中であることを示す「ＶＦＲ ＲＥＣ」に変化させるとともに、所定のマークを付加する。図８（ａ）の例では、所定のマークは、ハッチングが施された円で示される。ＶＦＲ記録が開始されると、タイムコード表示４０３が示すタイムコードは歩進する。また、ＶＦＲ記録が開始されると、表示制御部１１１は、フレームレート情報４１０を表示する。記録中のフレームレートが３０ｐであり、再生リフレッシュモードがＶＲＲに設定されている場合、フレームレート情報４１０には、実時間を示す「３０ｆｐｓ／３０ｐ」が表示される。

また、表示制御部１１１は、フレームレート選択画面４１１を表示する。図８（ａ）に示されるように、フレームレート選択画面４１１では、４つの撮影フレームレートのうち何れかを選択可能である。ユーザは、入力部１０７を用いて、任意の撮影フレームレートを選択することができる。選択可能な撮影フレームレートは４つには限定されない。

図８（ｂ）は、ＶＦＲ記録中に撮影フレームレートを３０ｐから１２０ｐに切り替えた後に表示されるＵＩ画面を示す。タイムコード表示４０３に表示されるタイムコードは、歩進している。また、記録中のフレームレートが１２０ｐであり、再生リフレッシュモードがＶＲＲに設定されているとする。この場合、表示部１０５は、実時間を示す「１２０ｆｐｓ／１２０ｐ」をフレームレート情報４１０に表示する。

以上説明した本実施形態は、マルチ撮影を行う場合に適用され得る。従って、上述したＳ５０６において、動画像制御部１１０は、再生リフレッシュレートの設定に関するメタデータをＣＲＲとして、ヘッダ２１０に記録する。この点、マルチ撮影でない場合、再生リフレッシュレートの設定に関するメタデータ（再生リフレッシュレートがＶＲＲ、または、ＣＲＲであることを示す情報）を、ヘッダ２１０に記録されないようにしてもよい。つまり、同期信号が入力されない場合、上記メタデータをヘッダ２１０に記録しなくてもよい。また、上述したように、Ｓ５０５において再生リフレッシュレートの設定がＣＲＲからＶＲＲに自動的に変更された場合、再生リフレッシュレート、つまりタイムコードの記録方式の変更は許容されないにようにしてもよいが、許容することもできる。Ｓ５０５において再生リフレッシュレートの設定がＣＲＲからＶＲＲに変更された後、タイムコードの設定（再生リフレッシュレートの設定）が、ユーザの操作によりＶＲＲからＣＲＲに変更されたとき、動画像制御部１１０はＶＦＲでの記録を禁止（撮影中であれば停止）してもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０４ 動画像記憶部
１１０ 動画像制御部
１１１ 表示制御部
１１４ タイムコード位相制御部
１１５ タイムコード制御部
１１６ タイムコード生成部
１１９ 外部入力信号検出部

Claims (11)

1. フレーム情報を拡張したサブフレーム情報を含む第１のタイムコードを記録するか、または、前記サブフレーム情報を含まない第２のタイムコードを記録するかを設定可能な設定手段と、
   動画像データを記録する際に、前記第２のタイムコードの記録を行う設定がされ、外部装置から同期信号が入力されている場合に、前記第１のタイムコードを記録するように変更する変更手段と、
   を備えることを特徴とする撮像装置。
2. 前記設定手段は、再生時のリフレッシュレートが可変リフレッシュレートに設定された場合に前記第１のタイムコードを記録するように設定し、再生時のリフレッシュレートが固定リフレッシュレートに設定された場合に前記第２のタイムコードを記録するように設定することを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は、ユーザ操作に応じて、再生時のリフレッシュレートを設定することを特徴とする請求項２に記載の撮像装置。
4. 前記第２のタイムコードの記録から前記第１のタイムコードの記録に変更された場合、前記動画像データの付帯情報として、固定リフレッシュレートでの再生であることを示す情報を記録するように制御する制御手段を有することを特徴とする請求項１に記載の撮像装置。
5. 前記制御手段は、前記同期信号が入力されない場合、前記付帯情報に固定リフレッシュレートでの再生であることを示す情報、または、可変リフレッシュレートでの再生であることを示す情報を記録しないように制御することを特徴とする請求項４に記載の撮像装置。
6. 撮影中に撮影フレームレートを変更可能な可変フレームレート記録モードを有し、
   前記変更手段は、前記可変フレームレート記録モードが設定されているときに、前記第２のタイムコードの記録を行う設定がされ、外部装置から同期信号が入力されている場合には、前記第１のタイムコードを記録するように変更することを特徴とする請求項１乃至４のうち何れか１項に記載の撮像装置。
7. 前記変更手段により前記第２のタイムコードの記録から前記第１のタイムコードの記録に自動的に変更された後に、ユーザの操作により前記第１のタイムコードの記録から前記第２のタイムコードの記録に変更された場合、前記可変フレームレート記録モードでの記録を禁止することを特徴とする請求項６に記載の撮像装置。
8. 外部装置から同期信号が入力されていない場合は、前記変更手段による変更を行わないことを特徴とする請求項１乃至５のうち何れか１項に記載の撮像装置。
9. 前記設定手段は、前記第１のタイムコードの記録、または、前記第２のタイムコードの記録を選択するための選択画面を有し、
   前記変更手段により前記第２のタイムコードから前記第１のタイムコードに変更された場合、前記選択画面による、前記第１のタイムコードの記録、または、前記第２のタイムコードの記録の選択を不可とすることを特徴とする請求項１乃至５のうち何れか１項に記載の撮像装置。
10. フレーム情報を拡張したサブフレーム情報を含む第１のタイムコードを記録するか、または、前記サブフレーム情報を含まない第２のタイムコードを記録するかを設定可能な設定手段を有する撮像装置の制御方法であって、
    動画像データを記録する際に、前記第２のタイムコードの記録を行う設定がされ、外部装置から同期信号が入力されている場合に、前記第１のタイムコードを記録するように変更する工程、
    を備えることを特徴とする制御方法。
11. 請求項１乃至９のうち何れか１項に記載の撮像装置の各手段をコンピュータに実行させるためのプログラム。

Images