JP2015192227A - 撮像装置およびその制御方法、ならびにプログラム - Google Patents

Abstract

【課題】複数フレームに同じタイムコードが付加されるフレームレートの動画像に、各フレームに重複のないタイムコードを付加することができる撮像装置を提供する。【解決手段】撮像装置は、動画像の各フレームに対し、固有のタイムコードを生成して、各フレームの画像データとタイムコードとを出力する。撮像装置は、予め定められた形式のタイムコードと、識別情報とから構成される形式を有するタイムコードであって、動画像の予め定められた形式のタイムコードが同一となるフレームに対しては、識別情報を異ならせたタイムコードを生成する。【選択図】図４

Description

本発明は、撮像装置およびその制御方法、ならびにプログラムに関し、特に動画像の記録を行う撮像装置およびその制御方法ならびにプログラムに関する。

ビデオカメラ等、動画像を記録可能な撮像装置の性能は、向上の一途をたどり、単位時間当たりに記録可能な情報量が増大している。これにより例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）や４Ｋ（４０９６×２１６０画素）解像度の画像を記録したり、再生フレームレートより高いフレームレートでの記録が実現されている。

動画像を通常再生（いわゆる１倍速再生）にて視聴する際のフレームレートは、フィルム映画を起源とする２４フレーム／秒、テレビ放送規格に基づく２９．９７フレーム／秒、近年のデジタルテレビ等により対応が進む６０フレーム／秒等がある。これに対して、再生時より高いフレームレートで撮像ならびに記録する技術（オーバークランク撮影）が知られている。例えば２４０フレーム／秒等の高いフレームレートで動画像を記録し、フレームレートを下げてスロー再生を行うことにより、人間の目では視認困難な短時間で発生する現象を視認しやすくする効果がある。

また、高フレームレートの動画像を圧縮する方法として、階層符号化が知られている。階層符号化では、高フレームレートの動画像は例えば、基本階層データ、第１階層データ、第２階層データに階層化されて符号化される。このように階層符号化により符号化された動画像を復号する際に、復号する階層を制御することにより異なるフレームレートの復号動画像を得ることができる。例えば、基本階層データのみを復号すると低フレームレート、基本階層データ、第１階層データおよび第２階層データを復号すると高フレームレートの復号動画像が得られる。

ところで、ビデオカメラ等の撮像装置では、撮影した動画像に対してタイムコードを付加して記録する（特許文献１）。一般的に、このタイムコードはＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）で規格化されたものが用いられている。タイムコードは時間、分、秒、フレームで構成されており、３０フレームまで歩進されるフレームと、Ｆｉｅｌｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｆｌａｇを活用することにより６０フレーム／秒のフレームレートを上限としてタイムコードを付加できる。

特開２０１３−５５５９０号公報

上述したように、現在一般的に用いられているＳＭＰＴＥの規格に準拠したタイムコードでは、フレームに個別のタイムコードを付与可能なフレームレートの上限が６０フレーム／秒である。そのため、６０フレーム／秒より高いフレームレートで撮影された動画像には、同じタイムコードを有するフレームが複数存在することになる。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、複数フレームに同じタイムコードが付加されるフレームレートの動画像に、各フレームに重複のないタイムコードを付加可能な撮像装置、制御方法およびプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、動画像の各フレームに対し、固有のタイムコードを生成する生成手段と、各フレームの画像データと、タイムコードとを出力する出力手段と、を有する撮像装置であって、生成手段は、予め定められた形式のタイムコードと、識別情報とから構成される形式を有するタイムコードであって、動画像の各フレームに固有の予め定められた形式のタイムコードが同一となるフレームに対しては、識別情報を異ならせたタイムコードを生成することを特徴とする。

本発明によれば、複数フレームに同じタイムコードが付加されるフレームレートの動画像に、各フレームに重複のないタイムコードを付加することが可能になる。

実施形態１に係る撮像装置の一例としてデジタルビデオカメラの構成例を示すブロック図 規格化されているタイムコードの構成と本発明に係る拡張したタイムコードの構成を簡易的に示す図 階層符号化を施した動画像の各フレームと各フレームに付加したタイムコードの例を示す図 実施形態１に係るタイムコードを生成する一連の処理を示すフローチャート 実施形態１に係るタイムコードを歩進する一連の処理を示すフローチャート タイムコードと画像データを記録するためのコンテナ構造の例を示す図 実施形態１に係る再生時にタイムコードを表示する処理の概要を説明する図 実施形態１に係る再生時にタイムコードを表示する一連の処理を示すフローチャート 実施形態２に係る撮像装置の一例としてのデジタルビデオカメラの構成例を示すブロック図 実施形態２に係る伝送用のタイムコードを生成する一連の処理を示すフローチャートと伝送に用いられる拡張情報の例を示す図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例としてのデジタルビデオカメラに本発明を適用した例を説明する。しかし、本発明はデジタルビデオカメラに限らず、動画像を記録または再生が可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれてよい。

（１ デジタルビデオカメラの構成）
図１は、本実施形態の撮像装置の一例としてデジタルビデオカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

図１に示す各機能ブロックは制御部１０１に接続され、制御部１０１は、各構成部は互いにデータの受送信を行って、デジタルビデオカメラ１００のシステム全体を制御する。制御部１０１はＲＯＭ１０４に記録されたプログラムをＲＡＭ１０５に展開して実行することにより、各構成部を制御するとともに、後述する動画像に対するタイムコードの生成に係る処理を実行する。

ＲＯＭ１０４は、不揮発性の記録媒体であり、制御部１０１が実行するプログラムを記憶している。ＲＡＭ１０５は、制御部１０１のワークメモリとして用いられる揮発性の記録媒体である。また、ＲＡＭ１０５は、撮像部１０２で撮像し、画像処理部１０３により画像処理された画像データを、表示部１０６で表示する際に一時格納するためにも用いられる。

撮像部１０２は、撮影レンズ（ズームレンズとフォーカスレンズを含む）と撮像素子とを有し、制御部１０１による制御に基づいて被写体を撮像し、静止画データあるいは動画像データを出力する。撮像素子は、光電変換素子を有する画素が複数、2次元配置された構成を有し、撮影レンズにより結像された被写体光学像を各画素で光電変換するイメージセンサである。

画像処理部１０３は、撮像部１０２が出力する画像データに対して、所定の画素補間、補正処理、リサイズ処理や色変換処理等の画像処理を行う。また、画像処理部１０３は、画像データに対して所定の演算処理を実行して、制御部１０１へ演算結果を出力する。制御部１０１は得られた演算結果に基づいて撮像部１０２に対する各種制御（露光制御、オートホワイトバランス制御など）を行う。また、画像処理部１０３は、画像処理を施した画像データを画像圧縮部１０８に出力する。

表示部１０６は、制御部１０１による制御に基づいて、各種設定状態や、撮像部１０２で撮像されている画像（ライブビュー画像や記録中の動画像）あるいは記録媒体１１０から再生された画像データを表示する。後述するように、表示部１０６は、再生された画像データを表示する際に、タイムコードも表示することができる。表示部１０６は、例えば、覗き込み形のファインダー内のディスプレイや、バリアングルの液晶モニタなどとして構成される。

操作部１０７は、デジタルビデオカメラ１００に電源を供給するための電源スイッチや、撮影開始ボタン、モード切替ボタンなどを含み、フレームレート等の撮像や記録に関する各種設定に対するユーザからの操作を例えばメニュー画面等を通じて受け付ける。なお操作部１０７にはタッチパネルが含まれてもよく、タッチパネルが操作部１０７に含まれる場合、制御部１０７はフリック、ドラッグなど、公知のタッチ操作を検出可能に構成される。タッチパネルは抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のうちいずれの方式のものを用いても良い。

画像圧縮部１０８は、制御部１０１による制御に基づいて、画像処理部１０３により画像処理された画像データを、所定の方式で圧縮し、制御部１０１へ出力する。制御部１０１は圧縮画像データを後述する方法で生成したタイムコードと共に記録媒体接続部１０９に出力する。また、画像圧縮部１０８は、圧縮画像データを伸長する機能を備え、制御部１０１による制御に基づいて、記録媒体１１０から読み出された圧縮画像データを伸長して制御部１０１へ出力する。

なお、本発明と直接関係しないため説明を省略するが、実際には、画像に加えて音声についても取得、記録を行う。音声データは例えばマイクを用いて取得し、制御部１０１が所定の方式で圧縮符号化することができる。

記録媒体接続部１０９は、着脱可能な記録媒体１１０を装着するための接続部である。記録媒体接続部１０９は、制御部１０７出力された圧縮画像データとタイムコード（および必要に応じて音声データ）を、制御部１０７の制御に従って記録媒体１１０に記録する。また、記録媒体接続部１０９は制御部１０７の制御に従って記録媒体１１０から読み出したデータを制御部１０７に出力する。着脱可能な記録媒体１１０は、例えば不揮発性半導体メモリカードであってよい。

（２ タイムコードの生成処理の概要）
次に、本実施形態において制御部１０７が実行するタイムコードの生成処理の概要について説明する。現在一般的に用いられているタイムコードの形式の一例としては、例えばＳＭＰＴＥにおいて規格化されているＶＩＴＣ（Ｖｅｒｔｉｃａｌ Ｉｎｔｅｒｖａｌ Ｔｉｍｅ Ｃｏｄｅ）の構成を図２（ａ）に示す。ＶＩＴＣは、時（ＨＨ）２００、分（ＭＭ）２０１、秒（ＳＳ）２０２、フレーム（ＦＦ）２０３、およびＦｉｅｌｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ（ＦＩ）フラグ（ｆ）２０４からなる。そして、時は０〜２４、分は０〜５９、秒は０〜５９、フレームは０〜２９、ＦＩフラグは０〜１の各値をとることができる。

上述のように、６０フレーム／秒を超えるフレームレートを有する動画像に対してこのタイムコードを付加した場合、同一のタイムコードが複数のフレームに割り当てられてしまう。本実施形態ではこのようなタイムコードの重複を防ぐため、タイムコードの構成を拡張する。

図２（ｂ）は、本実施形態におけるタイムコードの拡張構成をＶＩＴＣに適用した例を示す。本実施形態では、時２００、分２０１、秒２０２、フレーム２０３、およびＦＩフラグの末尾に識別情報となるｉｎｄｅｘ３００を付加する。ｉｎｄｅｘは、例えば、０〜２５５までの値をとって循環する数値であり、図２の構成で重複するタイムコードがある場合に０からカウントアップされる。

上述の形式で規定される拡張されたタイムコードは、例えば複数のフレームレートで再生可能な動画像に付加することができる。例えば本実施形態では、６０フレーム／秒より高いフレームレートを含む、例えばＨＥＶＣ規格に基づく階層構造を有する動画像に対してタイムコードを付加する。階層符号化された動画像における再生するレイヤーの指定を変更することにより、階層符号化された動画像を再生する際の再生フレームレートを動的に変更することが可能である。このため、タイムコードは、再生あるいは伝送するフレームレートに同期しない形で付加される必要がある。そこで、フレーム２０３として重複する値が割り当てられる区間のフレームに対しては、制御部１０１はｉｎｄｅｘの値を０からカウントアップすることで、各フレームに固有のタイムコードを生成する。

付加されるタイムコードをより具体的に説明するために、本実施形態におけるタイムコードを付加可能な動画像のデータの構造の一例として、ＨＥＶＣ規格に基づく階層符号化の施された動画像データの構造を説明する。図３（ａ）において、４０１乃至４１７はそれぞれが１フレームの画像データを示し、４２０乃至４２４は符号化階層（レイヤー）を示している。４２０〜４２４はそれぞれレイヤー０（ｔｅｍｐｏｒａｌ＿ｉｄ＝０）からレイヤー４（ｔｅｍｐｏｒａｌ＿ｉｄ＝４）を示している。ｔｅｍｐｏｒａｌ＿ｉｄとは、ＨＥＶＣ規格にて各レイヤーを指定する値の名称である。レイヤー０が最下位レイヤーであり、レイヤー４が最上位レイヤーである。

画像データ４０１および４１７は、ｔｅｍｐｏｒａｌ＿ｉｄ＝０、即ちレイヤー０ ４２０に属する画像データである。画像データ４０９は、ｔｅｍｐｏｒａｌ＿ｉｄ＝１、即ちレイヤー１ ４２１に属する画像データである。画像データ４０５、４１３は、ｔｅｍｐｏｒａｌ＿ｉｄ＝２、すなわちレイヤー２ ４２２に属する画像データである。画像データ４０３、４０７、４１１、４１５は、ｔｅｍｐｏｒａｌ＿ｉｄ＝３、すなわちレイヤー３ ４２３に属する画像データである。画像データ４０２、４０４、４０６、４０８、４１０、４１２、４１４、４１６は、ｔｅｍｐｏｒａｌ＿ｉｄ＝４、すなわちレイヤー４ ４２４に属する画像データである。そして、各レイヤーに属する画像データは、画像圧縮部１０８によって、そのレイヤーに対応した圧縮率で圧縮符号化されている。このような階層構造を有する動画像は、最下位レイヤーのみの再生から順次上位レイヤーを再生対象に加えることによって再生レイヤー数を増やすことにより、動的に再生フレームレートを変更することができる。

本実施形態のようにレイヤー０からレイヤー４の５階層の構造を有する動画像データは、５段階の再生フレームレート指定が可能である。例えば、レイヤー０の再生フレームレートを１５フレーム／秒とした場合、レイヤー０ ４２０のみを再生対象として指定すると、画像データ４０１、４１７のみが再生対象となり、１５フレーム／秒のフレームレートで再生される。レイヤー１ ４２１以下を再生対象として指定した場合、画像データ４０１、４１７に加えて画像データ４０９が再生対象となり、再生フレームレートは３０フレーム／秒となる。レイヤー２ ４２２以下を再生対象として指定した場合、画像データ４０５、４１３が再生対象に追加され、再生フレームレートは６０フレーム／秒となる。以下同様に、レイヤー３ ４２３以下を再生対象として指定した場合には、再生フレームレートは１２０フレーム／秒となる。レイヤー４ ４２４以下、即ち全レイヤー４２０〜４２４を再生対象として指定した場合には、画像データ４０１から画像データ４１７までの全てが再生対象となり、再生フレームレートは２４０フレーム／秒となる。

次に図３（ａ）の（各フレームの）画像データ４０１〜４１７に付加するタイムコードの例について、図３（ｂ）を参照して説明する。例えばレイヤー４ ４２４以下を再生対象として指定して２４０フレーム／秒で再生するものとする。レイヤー２ ４２２以下の画像データは６０フレーム／秒であるので、制御部１０１は、再生対象となるフレームの画像データ４０１、４０５、４０９、４１３、４１７に対し、各フレームに対応したタイムコードを割り当てる。ここで、図２（ｂ）に示したｉｎｄｅｘ３００には０を設定する。例えば、制御部１０１は、画像データ４０１には００：００：００：００．０．０、画像データ４０５には００：００：００：００．１．０、画像データ４０９には００：００：００：０１．０．０のタイムコードを生成する。さらに制御部１０１は、画像データ４１３には００：００：００：０１．１．０、画像データ４１７には００：００：００：０２．０．０のタイムコードを生成する。

一方、レイヤー３およびレイヤー４の画像データはそれぞれ１２０フレーム／秒、２４０フレーム／秒の再生フレームレートに対応する。このため、レイヤー２以下の画像データに割り当てられたタイムコードにおける時間２００、分２０１、秒２０２、フレーム２０３、ＦＩ２０４の値が重複する。例えば画像データ４０２、画像データ４０３、画像データ４０４は、画像データ４０１と００：００：００：００．０の部分が重複する。この場合、制御部１０１は、ｉｎｄｅｘ３００の値をカウントアップする。即ち、制御部１０１は、画像データ４０２には００：００：００：００．０．１、画像データ４０３は００．００．００．００．０．２、画像データ４０４は００：００：００：００．０．３のタイムコードを生成する。さらに、例えば画像データ４０５などのレイヤー２以下の画像データについてタイムコードが生成される場合、制御部１０１は、００：００：００：００．１．０のようにｉｎｄｅｘをリセットするとともにＦＩフラグの異なるタイムコードを生成する。

（３ タイムコードの生成処理）
上述した制御部１０１のタイムコードの生成処理を図４に示すフローチャートを用いて説明する。本処理は、操作部１０７により、ユーザからの記録開始の指示があった場合に実行される。

Ｓ１００において制御部１０１は、画像圧縮部１０８から新しいフレームが取得されたかを判断する。制御部１０１は、新しいフレームが取得されたと判断された場合は処理をＳ１０１に進める。一方、まだ取得されていないと判断された場合、制御部１０１は新しいフレームが取得されるまで処理を待つ。

Ｓ１０１において制御部１０１は、予め設定されているベースフレームレート（以下Ｆｂ）を例えばＲＯＭ１０４から取得する。ベースフレームレートは、タイムコードのフレーム（ＦＦ）のフレーム番号が桁上がりするフレームレートを規定し、一般に２４フレーム／秒か３０フレーム／秒であるが、これに限定されない。本実施形態において、記録フレームレートは、ベースフレームレートの整数倍であるものとする。

Ｓ１０２において制御部１０１は、予め設定されている記録フレームレート（以下Ｆｒ）を例えばＲＯＭ１０４から取得する。ＦｂおよびＦｒは、固定値でも良いし、ユーザが操作部１０７を通じて設定できるようにしてもよい。制御部１０１は、Ｆｒを取得すると処理をＳ１０３へ進める。

Ｓ１０３において制御部１０１は、タイムコードにおけるｉｎｄｅｘの値を制御する必要があるかどうかを判定する。ここでは、記録フレームレートＦｒがベースフレームレートＦｂの２倍より大きいかどうか（Ｆｂ＊２＜Ｆｒ）によって、判定を行っている。制御部１０１は、Ｆｂ＊２＜Ｆｒであれば処理をＳ１０４に進め、Ｆｂ＊２≧ＦｒであればＳ１０９へ処理を進める。

Ｓ１０４において制御部１０１は、ＦｒをＦｂで除算してｉｎｄｅｘのカウント数の最大値Ｉｍａｘ＝Ｆｒ／Ｆｂを求める。なお、本フローチャートではｉｎｄｅｘは０から始まる値としているため、Ｉｍａｘ＝（Ｆｒ／Ｆｂ）−１となる。制御部１０１は求めたＩｍａｘを設定して処理をＳ１０５へ進める。Ｓ１０５において制御部１０１は、ｉｎｄｅｘの数を１増加させる。さらにＳ１０６において制御部１０１は、ｉｎｄｅｘとＩｍａｘを比較してｉｎｄｅｘがＩｍａｘ以上かを判断する。制御部１０１は、ｉｎｄｅｘの値がＩｍａｘ以上と判断した場合は、処理をＳ１０７に進めてｉｎｄｅｘを０にリセットした後、Ｓ１０８でタイムコードの歩進処理を行う。タイムコードの歩進処理については図５を用いて後述する。一方、ｉｎｄｅｘがＩｍａｘより小さいと判断した場合、制御部１０１は、タイムコードの歩進処理をスキップして処理をＳ１１１へ進める。

一方、Ｓ１０３でｉｎｄｅｘの制御が不要と判断された場合、制御部はＳ１０９においてｉｎｄｅｘを０に設定した後、Ｓ１１０においてＳ１０８と同様のタイムコードの歩進処理を行う。

Ｓ１０８またはＳ１１０でタイムコードの歩進処理を行った後、制御部１０１はＳ１１１において歩進処理で得られたタイムコード（ＨＨ：ＭＭ：ＳＳ：ＦＦ）にＦＩフラグおよびｉｎｄｅｘを付加し、処理対象のフレームに設定するタイムコードを確定する。制御部１０１は、処理対象フレームの画像データと、確定したタイムコードとを、記録媒体接続部１０９を介して記録媒体１１０に記録する。この記録形式については後述する。

Ｓ１１２において制御部１０１は、処理対象のフレームが最後のフレームであるか否かを、例えば画像データのヘッダ情報に基づいて判断し、処理対象のフレームが最後のフレームと判定されれば本フローチャートの処理を終える。制御部１０１は、処理対象のフレームが最後のフレームでは無いと判断したときは、処理をＳ１００へ戻す。

次に、図４のＳ１０５およびＳ１１０で行うタイムコードの歩進処理について、図５のフローチャートを用いてさらに説明する。

Ｓ２００において制御部１０１は、タイムコードにおけるＦＩフラグの制御が必要かどうかを、ここでは、書き込みフレームレートＦｒがベースフレームレートＦｂの２倍以上かどうかによって判断する。制御部１０１はＦｒがＦｂの２倍以上であるときは、ＦＩフラグの制御が必要と判断して処理をＳ２０１へ進め、ＦｒがＦｂの２倍より小さいとき（Ｆｒ＝Ｆｂのとき）はＦＩフラグの制御は不要と判断して処理をＳ２０３に進める。

Ｓ２０１において制御部１０１は、ＦＩフラグ（Ｆｅｉｌｄ ｉｎｄｅｎｔｉｆｉｃａｔｉｏｎ ｆｌａｇ）が０であるかを判断する。制御部１０１は、現在のＦＩフラグの値を確認し、０であれば処理をＳ２０２に進め、０でなければ処理をＳ２０３へ進める。

Ｓ２０２において制御部１０１は、ＦＩフラグを１に変更し、タイムコードの歩進処理を完了する。

Ｓ２０３において制御部１０１は、ＦＩフラグを０に設定し、処理をＳ２０４へ進める。Ｓ２０４において制御部１０１は、タイムコードを歩進させる。具体的には制御部１０１は、図２（ｂ）に示したタイムコードのうちフレーム（ＦＦ）２０３の値を１つ増加させ、タイムコードの歩進処理を終了する。なお、増加前にＦＦ２０３がＦｂに相当する値であれば、上位の値（ＳＳ２０２）を１つ増加し、ＦＦ２０３を初期値（０）に戻す桁上がり処理を行う。

次に、このように生成したタイムコードとフレーム画像データを記録するために用いるコンテナ構造について説明する。図６は、本実施形態において使用可能なコンテナ構造の一例としての、ＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）のコンテナ構造を示す。ヘッダ領域であるＨｅａｄｅｒ Ｍｅｔａｄａｔａ６００はファイルの開始を示し、ファイルに関するメタ情報が記録されている。制御部１０１は、階層符号化された画像データの記録において、ベースフレームレート（Ｆｂ）、再生可能な最大フレームレート、ｔｅｍｐｏｒａｌ＿ｉｄに対応した再生フレームレートの情報をヘッダ領域に記録する。Ｆｒａｍｅ６０１は各フレームのデータを表し、フレームのメタ情報を格納するＳｙｓｔｅｍ Ｍｅｔａｄａｔａ６０３、画像データ６０４、音声データ６０５から構成される。制御部１０１は、フッタ領域であるＦｏｏｔｅｒ Ｍｅｔａｄａｔａ６０２にファイルの終了を示す情報を記録する。タイムコードはフレームのメタ情報を格納するＳｙｓｔｅｍ Ｍｅｔａｄａｔａ６０３に記録され、タイムコードの時、分、秒、フレーム、Ｆｉｅｌｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｆｌａｇはＳＭＰＴＥに準拠したタイムコードの記録領域に記録される。拡張したｉｎｄｅｘのデータはＳＭＰＴＥで規定されているＵｓｅｒＢｉｔ領域を利用して記録されてもよいし、Ｒｅｓｅｒｖｅｄの別領域に記録されてもよい。

（４ 再生時のタイムコードの表示処理）
次に、記録された動画像を再生する際にタイムコードを表示する処理を説明する。

上述のように階層符号化された動画像は、複数のフレームレートで再生を行うことが可能である。図３（ｂ）に示したように、タイムコードは記録する際の最大のフレームレートに同期して付加されるため、選択された再生フレームレートによっては記録されたタイムコードを用いると不連続な表示となる場合がある。このため、本実施形態では再生時のフレームレートに応じたフレームレートの比を用いて、タイムコードの表示を変換する。例えば、図３に示したような、レイヤー０〜レイヤー４の５階層で符号化され、最大再生フレームレートが２４０フレーム／秒の動画像データの、レイヤー３以下のフレームを再生する（即ち１２０フレーム／秒）場合を考える（図７（ａ））。この場合、レイヤー４のフレームが再生されないため、再生フレームに対応して記録されたタイムコードをそのまま表示するとタイムコードが不連続となる。そこでフレームレートの比に応じてｉｎｄｅｘの値を記録された値から変更することで、表示用のタイムコードを生成する。図７（ａ）の例では、最大再生フレームレートの再生フレームレートに対する比率は２であるため、制御部１０１は各画像データに対応して記録されたタイムコードのｉｎｄｅｘを２で除算した値を表示させる。例えば、画像データ７０１に対応して記録されたタイムコードは００：００：００：００．０．２であるが、表示タイムコードは００：００：００：００．０．１として表示される。また、再生フレームレートがベースフレームレートよりも低い場合にも同様にフレームの表示についてフレームレートの比を用いた変換を行ってもよい。

さらに再生時のタイムコードの表示処理を図８のフローチャートを用いて説明する。本処理は、制御部１０１が、操作部１０７からユーザによる動画像ファイルに対する操作指示を受けた時点から開始される。

Ｓ３００において制御部１０１は、ユーザによる操作指示が動画像ファイルの再生を開始させる指示かどうかを判断する。制御部１０１は、操作部１０７から通知されたデータを参照して該操作指示が再生を指示するものである場合、対象となるファイルの格納場所等の情報を取得して処理をＳ３０１へ進める。一方、制御部１０１は、該操作指示が再生開始の指示でない場合、処理をＳ３００に戻して再び再生開始の指示を待つ。

Ｓ３０１において制御部１０１は、再生対象となるファイルを読み込んで、該ファイルのヘッダに記載されるＦｂの値を取得する。

Ｓ３０２において制御部１０１は、新しいフレームが読み込まれたかを判断する。制御部１０１は、新しいフレームが読み込まれた場合はＳ３０３へ処理を進め、新しいフレームが読み込まれていない場合、処理をＳ３０２に戻してフレームが読み込まれるのを待つ。

Ｓ３０３において制御部１０１は、予め設定されている再生フレームレート（以下Ｆｐ）を例えばＲＯＭ１０４から取得する。Ｆｐは、再生されたファイルのヘッダから現在再生されているレイヤーのｔｅｍｐｏｒａｌ＿ｉｄより対応する再生フレームレートを取得しても良いし、固定値あるいはユーザが操作部１０７を介して設定した値でもよい。制御部１０１は、Ｆｐを取得すると、Ｓ３０４へ処理を進める。

Ｓ３０４において制御部１０１は、表示の処理の対象がフレーム（ＦＦ）であるかｉｎｄｅｘであるかを判定するため、ここではＦｂがＦｐ以下であるかを判定する。制御部１０１は、取得したＦｂとＦｐを比較して、ＦｂがＦｐ以下である場合には処理をＳ３０５に進め、ｉｎｄｅｘに対する表示の処理を行う。一方、ＦｂがＦｐより大きい場合には処理をＳ３０９へ進めてフレームに対する表示の処理を行う。

Ｓ３０５において制御部１０１は、再生されたファイルのヘッダである領域６００から最大再生フレームレート（Ｆｍａｘ）を取得する。制御部１０１は、Ｓ３０６において、最大再生フレームレートＦｍａｘと再生フレームレートＦｐの比を求めるため、ＦｍａｘをＦｐで除算して得られる商Ｄｉを求める。さらにＳ３０７において制御部１０１は、フレームレートの比Ｄｉに応じてｉｎｄｅｘの値を記録された値から変更するため、タイムコードのｉｎｄｅｘをＤｉで除算してＩｄｉｖを求める。制御部１０１は、処理対象のフレームのメタ情報の領域６０３からタイムコードを読み出し、取得したタイムコードのｉｎｄｅｘをＳ３０５で求めたＤｉで除算する。さらにＳ３０８において制御部１０１は、算出したＩｄｉｖを変更したｉｎｄｅｘとして表示部１０６に表示させて、処理をＳ３１２へ進める。

一方、Ｓ３０９において制御部１０１は、フレーム（ＦＦ）を変更するためのフレームレートの比を求めるため、ＦｂをＦｐで除算してＤｆを求める。制御部１０１は、Ｄｆを求めると処理をＳ３１０へ進める。Ｓ３１０において制御部１０１は、フレームのメタ情報の領域６０３から読み込んだタイムコードのフレーム（ＦＦ）の値をフレームレートの比Ｄｆで除算し、その商Ｆｄｉｖを求める。そして、Ｓ３１１において制御部１０１は、フレーム（ＦＦ）の値を記録された値からＦｄｉｖに変更し、Ｆｄｉｖを表示するタイムコードのフレームの値として表示部１０６に表示させる。その後制御部１０１は、処理をＳ３１２へ進める。

Ｓ３１２において制御部１０１は、再生対象となるファイルの再生が終了するか否かを、例えばユーザによる停止指示や画像データのヘッダ情報に基づいて判断する。処理対象のフレームが最後のフレームで無いと判定されれば、制御部１０１は処理をＳ３０２に戻し、再生を終了させる場合、本処理を終了する。

なお、図７（ｂ）には制御部１０１が表示部１０６に表示させた再生時のタイムコードの一例を示す。再生画面に表示されたタイムコード８００は、表示された画像データと同期して表示される。表示部１０６には、現在の再生フレームレートと再生最大フレームレートが合わせて表示される。表示されるタイムコード８００は再生用に生成されたタイムコードに限らず、記録されたタイムコードをユーザの選択に応じて切り替えて表示したり、両方を同時に表示してもよい。動画像編集などの用途において記録されたタイムコードを特定する場合に、両タイムコードを切り替えたり同時に表示することで、違和感のない自然な表示用タイムコードを参照しつつ、記録用のタイムコードを特定することができる。

以上説明したように本実施形態によれば、ＦＩまでを表示可能なタイムコードにｉｎｄｅｘ（識別情報）を付加したタイムコードを生成する。そのため、ＦＩまでを表示可能なタイムコードでは対応できない（同じタイムコードが割り当てられてしまうフレームが存在する）ようなフレームレートの動画像であっても、各フレームに重複のない固有のタイムコードを生成することができる。また、記録フレームレートに応じてｉｎｄｅｘの最大値を制御することで、ＦＩまでを表示可能なタイムコードで対応できない記録フレームレートの範囲で段階的に選択される場合であっても、各フレームに重複のない固有のタイムコードを生成することができる。さらに、規格化されたタイムコードを識別情報で拡張した形式としているため、識別情報を認識できない装置はＦＩまでを表示可能なタイムコード部分を従来通り利用できる。

また、識別情報を含むタイムコードが付加された可変フレームレートの動画像を再生する際に、再生フレームレートに応じて識別情報の値を変換して表示することで、再生フレームレートが変更されても連続したタイムコードを表示できる。

（実施形態２）
本発明の実施形態２について説明する。本実施形態のデジタルビデオカメラは、実施形態１に加えて外部機器へ動画像を伝送可能な構成を有し、外部機器へ動画像を伝送する際には外部機器が本実施形態において生成されるタイムコードを利用するための情報（拡張情報）を生成する点が異なる。具体的には、デジタルビデオカメラ９０００は、画像伝送部と外部Ｉ／Ｆを新たに有し、生成したタイムコードを出力するための形式に変換して動画像を伝送する。本実施形態の説明では、上記以外の点については実施形態１と共通であるため、重複する説明は省略し、相違点について重点的に説明する。

本実施形態における撮像装置の一例としてデジタルビデオカメラ９０００の機能構成例を図９に示す。図９において図１と同じ構成要素には同じ参照数字を付して説明を省略する。本実施形態のデジタルビデオカメラ９０００は、実施形態１のデジタルビデオカメラ１００の構成要素に加えて、画像伝送部９００１と外部Ｉ／Ｆ９００２を有する。画像伝送部９００１は、制御部１０１により生成された拡張タイムコードが記録された動画像を伝送に必要な所定の形式に変換する。例えば動画像の伝送規格であるＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）を用いる場合、画像伝送部９００１は伝送する動画像をＳＭＰＴＥで規定されている所定のフォーマットに適合させるように変換して、外部Ｉ／Ｆ９００２へ出力する。

外部Ｉ／Ｆ９００２は、外部機器と接続するためのインタフェースである。外部Ｉ／Ｆ９００２は、制御部１０１による制御に基づいて、画像伝送部９００１から取得した動画像を外部機器へ伝送する。

次に動画像を外部機器に伝送する際の処理について、図１０（ａ）に示すフローチャートを用いて説明する。

Ｓ４００において制御部１０１は、実施形態１と同様にして、拡張されたタイムコードを生成し、処理をＳ４０１へ進める。なお、Ｓ４００で行うタイムコード生成処理は図４のフローチャートに示した処理のうちＳ１００からＳ１１１に相当する。

Ｓ４０１において制御部１０１は、伝送先の外部機器が拡張タイムコードを利用するための拡張情報を生成する。

拡張情報およびその構成の一例を図１０（ｂ）に示す。ここでは拡張情報は３２ビットのデータである。０から７ビットの領域９０５は、ｉｎｄｅｘ領域であり、この拡張情報が付加される画像データのタイムコードを拡張するｉｎｄｅｘの値が格納される。８から１５ビットの領域９０４は、ベースフレームレートＦｂに対する外部機器の再生フレームレートＦｐの比率（Ｆｐ／Ｆｂ）を格納する領域である。また１６から２３ビットの領域９０３は、Ｆｂに対する、撮像時に予め設定されている最大フレームレートＦｍａｘの比率（Ｆｍａｘ／Ｆｂ）が格納される領域である。２４から２５ビットの領域９０２は、Ｆｂが格納される領域である。２６ビットの領域９０１は、領域９０３および９０４に格納されている比率がＦｂを分母とした比率なのか分子とした比率なのかを示すフラグが格納される領域である。２７から３１ビットの領域はリザーブである。ＦｍａｘのＦｂに対する比率およびＦｐのＦｂに対する比率を伝送することで、伝送先の外部機器が実施形態１で説明した拡張タイムコードに対応している場合に、外部機器が動画像データを記録する際のＩｍａｘや再生する際のＤｉ等を算出可能となる。上述の拡張情報は一例であり、ビット長やデータの割り当ては異なってもよい。制御部１０１は、これらの拡張情報を、予め設定されている情報や外部機器から取得した情報に基づいて生成することができる。制御部１０１は、生成した拡張情報を画像伝送部９００１へ出力する。

Ｓ４０２において画像伝送部９００１は、制御部１０１の指示により、伝送するフレームの画像データに制御部１０１から取得したタイムコードと拡張情報とを付加して外部機器へ伝送する。ＳＤＩの例では、拡張情報はＢｉｎａｒｙ Ｇｒｏｕｐ（Ｕｓｅｒ Ｂｉｔ）の領域に重畳して送ることができる。

Ｓ４０３において制御部１０１は、伝送した画像データが最後のフレームの画像データであるか否かを判断して、最後のフレームでない場合はＳ４００に処理を戻し、最後のフレームである場合には本処理を終了する。

以上説明したように本実施形態によれば、複数フレームに同じタイムコードが付加される動画像に対して生成された、各フレームに重複のないタイムコードを利用する外部機器に対して、該タイムコードを利用するための拡張情報を生成して伝送する。このため、外部機器において複数フレームに同じタイムコードが付加される動画像を記録および再生する場合であっても、各フレームに重複のないタイムコードを利用することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１…制御部、１０２…撮像部、１０３…画像処理部、１０６…表示部、１０８…画像圧縮部

Claims (11)

1. 動画像の各フレームに対し、固有のタイムコードを生成する生成手段と、
   前記各フレームの画像データと、前記タイムコードとを出力する出力手段と、
   を有する撮像装置であって、
   前記生成手段は、予め定められた形式のタイムコードと、識別情報とから構成される形式を有するタイムコードであって、前記動画像の各フレームに固有の前記予め定められた形式のタイムコードが同一となるフレームに対しては、前記識別情報を異ならせたタイムコードを生成することを特徴とする撮像装置。
2. 前記生成手段は、前記予め定められた形式のタイムコードにおけるフレーム番号の桁上がりを規定する所定のフレームレートに対する前記動画像のフレームレートの比率が予め定められた比率より大きい場合に、前記予め定められた形式のタイムコードが同一となる場合があると判定し、前記識別情報を異ならせたタイムコードを生成することを特徴とする請求項１に記載の撮像装置。
3. 前記生成手段は、前記所定のフレームレートに対する前記動画像のフレームレートの比率に基づいて定まる数の前記識別情報を用いて、前記識別情報を異ならせたタイムコードを生成することを特徴とする請求項２に記載の撮像装置。
4. 前記各フレームからなる動画像が異なるフレームレートで再生可能な形式で前記各フレームを符号化する符号化手段をさらに有し、
   前記生成手段は、前記符号化された各フレームに対し、前記識別情報を異ならせたタイムコードを生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記符号化手段は、前記動画像をＨＥＶＣ規格に基づく階層構造の動画像に符号化することを特徴とする請求項４に記載の撮像装置。
6. 前記出力手段により出力された前記各フレームの画像データと前記タイムコードを取得する取得手段と、
   前記取得したタイムコードを表示のために変換する変換手段と、
   前記変換されたタイムコードと前記画像データとを表示する表示手段と、
   をさらに有し、
   前記変換手段は、前記画像データの再生フレームレートよりも前記動画像の再生可能な最大のフレームレートの方が高い場合、再生する前記画像データの前記タイムコードが有する前記識別情報を前記再生フレームレートに応じて変換することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記生成手段は、循環する数値を前記識別情報として用い、
   前記変換手段は、前記再生フレームレートよりも前記動画像を再生可能な最大のフレームレートの方が高い場合、前記再生するフレームレートに対する前記再生可能な最大のフレームレートの比率を用いて前記識別情報を除算することにより、前記取得したタイムコードを前記識別情報の連続したタイムコードに変換することを特徴とする請求項６に記載の撮像装置。
8. 前記表示手段は、前記変換されたタイムコードと前記取得したタイムコードを切り替えてあるいは同時に表示することを特徴とする請求項６または請求項７に記載の撮像装置。
9. 前記画像データおよび前記タイムコードを、外部機器に伝送する伝送手段をさらに有し、
   前記伝送手段は、前記識別情報を有する前記タイムコードを用いて前記外部機器が前記画像データを再生または記録するための拡張情報であって、前記外部機器の再生フレームレートに基づく拡張情報をさらに前記外部機器に伝送することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 生成手段が、動画像の各フレームに対し、固有のタイムコードを生成する生成工程と、
    出力手段が、前記各フレームの画像データと、前記タイムコードとを出力する出力工程と、
    を有する撮像装置の制御方法であって、
    前記生成手段は、前記生成工程において予め定められた形式のタイムコードと、識別情報とから構成される形式を有するタイムコードであって、前記動画像の各フレームに固有の前記予め定められた形式のタイムコードが同一となるフレームに対しては、前記識別情報を異ならせたタイムコードを生成することを特徴とする撮像装置の制御方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images