本発明は、一般的にMPEG(Moving Picture Experts Group)ベースのメディアファイルフォーマットによるコンテンツの伝送に関して、特に国際標準化機構(International Organization for Standardization:ISO)ベースのメディアファイルフォーマットを用いてコンテンツを伝送するメディアファイル記録及び再生装置及び方法と、そのためのコンピュータ読み取り可能な記録媒体に関する。
既存のMPEG-4 Part 12 ISOベースのファイルフォーマットで指定された動画メタデータボックス“MOOV”は、一つのコンテンツアイテム(複数のリソース)のみを記述できる。したがって、既存のISOベースのファイルフォーマットでは、複数のコンテンツアイテムを記述する方法又は構成に対する記載は全くない。従来のISOベースのファイルフォーマットに基づき、複数のコンテンツアイテムが伝送されることを仮定していないため、複数のコンテンツアイテムを区分する方法がない。したがって、一つのコンテンツアイテムを伝送する間に、付加コンテンツアイテム(又は追加アイテム)を一つのコンテンツアイテムと同一の伝送経路を通じて伝送することができない。しかしながら、伝送効率又は応答時間の改善のためには、一回の要求で複数のコンテンツアイテムを伝送することが有利である。
クライアントが予想しないデータの伝送に対してもマルチ伝送が有効である。例えば、ニュースアップデート及び非常事態に関連した異なるコンテンツアイテムに対して、クライアントが予めそれらを受信することを期待できないので、クライアントからサーバに対し要求を送信することができない。したがって、マルチ伝送は、一つの通信チャンネルを介して複数のコンテンツアイテムを転送するのに有用である。
上述したように、既存のISOベースのファイルフォーマットでは、複数のコンテンツアイテムが伝送されることが想定されていないため、複数のコンテンツアイテムを区分する方法がなかった。このため、一つのコンテンツアイテムの伝送中に、付加コンテンツアイテム(又は追加アイテム)を一つのコンテンツアイテムと同一の伝送経路を通じて伝送することができないという問題があった。
したがって、本発明は上述した従来技術の問題点に鑑みてなされたものであって、その目的は、ISOベースのファイルフォーマットに規定されたメディアデータファイルを記録及び再生する装置及び方法とその記録媒体を提供することにある。
本発明の他の目的は、複数のコンテンツアイテムの伝送中に、コンテンツのセマンティックと現在コンテンツとの関係とを伝達するための方法及び装置とその記録媒体を提供することにある。
また、本発明の目的は、複数のコンテンツアイテムの伝送中に、コンテンツのセマンティック、現在コンテンツとの関係、及び伝送されるコンテンツアイテムを処理する方法及び装置とその記録媒体を提供することにある。
上記のような目的を達成するために、本発明の一態様によれば、コンピュータ読み取り可能な記録媒体が提供される。コンピュータ読み取り可能な記録媒体は、第1のコンテンツのメディアデータを含むボックスと、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスと、第2のコンテンツのメディアデータを含むボックスと、第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスとを含み、第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスは、各々第2のコンテンツのための識別情報を含む。
本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体が提供される。コンピュータ読み取り可能な記録媒体は、複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスの対に対応する第1の動画メタデータ(moov)ボックスと、複数のコンテンツの中で第1のコンテンツを除いた第2のコンテンツに対応する少なくとも一つの第2のメディアデータボックスと第2の動画フラグメントボックスの対に対応し、第1の動画メタデータボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスとを含む。
また、本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体にメディアファイルを記録する記録装置が提供される。この記録装置は、第1のコンテンツのメディアデータを含むボックスと、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスと、第2のコンテンツのメディアデータを含むボックスと、第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを生成する生成部と、生成されたボックスを格納する格納部とを含み、第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスは、各々第2のコンテンツのための識別情報を含む。
さらに、本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体にメディアファイルを記録する記録装置が提供される。記録装置は、複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスを生成し、複数のコンテンツの中で第1のコンテンツを除いた第2のコンテンツに対応する少なくとも一つの第2のメディアデータボックスと第2の動画フラグメントボックスとの対に対応し、第1の動画メタデータボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスを生成する生成部と、生成された第1及び第2のメディアデータボックス、第1及び第2の動画フラグメントボックス、及び第1及び第2の動画メタデータボックスを格納する格納部とを含む。
本発明の他の態様によれば、メディアファイルを再生する再生装置が提供される。再生装置は、第1のコンテンツのメディアデータを含むボックス、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックス、第2のコンテンツのメディアデータを含むボックス、及び第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを受信する入力部と、受信されたボックスをパーシングし、パーシングされたメタデータ情報を用いてメディアデータが表示されるように処理する処理部と、処理部によりパーシングされたメディアデータを表示するディスプレイ部とを含み、第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスは、各々第2のコンテンツのための識別情報を含む。
また、本発明の他の態様によれば、メディアファイルを再生する再生装置が提供される。この再生装置は、相互に異なる複数のコンテンツの各々に対して、各コンテンツのメディアデータを含むボックスと、メディアデータを再生するために必要なメタデータ情報を含むストリームとを受信する入力部と、ストリームから、複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moov)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスをパーシングし、複数のコンテンツの中で第1のコンテンツを除いた第2のコンテンツに対応する少なくとも一つの第2のメディアデータボックスと第2の動画フラグメントボックスとの対に対応し、第1の動画メタデータボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスをパーシングする処理部と、処理部によりパーシングされるメディアデータを表示するディスプレイ部とを含む。
さらに、本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体にメディアファイルを記録する方法が提供される。その方法は、第1のコンテンツのメディアデータを含むボックスを生成するステップと、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを生成するステップと、第2のコンテンツのメディアデータを含むボックスを生成するステップと、第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを生成するステップと、生成されたボックスを格納するステップとを有し、第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスは、各々第2のコンテンツのための識別情報を含む。
本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体を記録する方法が提供される。その方法は、複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスを生成するステップと、複数のコンテンツの中で第1のコンテンツを除いた第2のコンテンツに対応する少なくとも一つの第2のメディアデータボックスと第2の動画フラグメントボックスとの対に対応し、第1の動画メタデータボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスを生成するステップと、生成された第1及び第2のメディアデータボックス、第1及び第2の動画フラグメントボックス、及び第1及び第2の動画メタデータボックスを格納するステップとを有する。
なお、本発明の他の態様によれば、メディアファイルを再生する方法が提供される。その方法は、第1のコンテンツのメディアデータを含むボックスを受信するステップと、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを受信するステップと、第2のコンテンツのメディアデータを含むボックスを受信するステップと、第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを受信するステップと、受信されたボックスから、第2のコンテンツを識別するための識別情報をパーシングするステップと、識別情報によって、第2のコンテンツのメディアデータと第2のコンテンツのメディアデータを再生するためのメタデータ情報とをパーシングするステップと、パーシングされたメタデータ情報を用いてメディアデータを表示するように処理するステップとを有する。
また、本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体を再生する方法が提供される。その方法は、異なる複数のコンテンツ各々に対して、各コンテンツのメディアデータを含むボックスとメディアデータを再生するために必要なメタデータ情報を含むストリームを受信するステップと、ストリームから、複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスをパーシングするステップと、複数のコンテンツの中で第1のコンテンツを除いた第2のコンテンツに対応する少なくとも一つの第2のメディアデータボックスと第2の動画フラグメントボックスとの対に対応し、第1の動画メタデータボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスをパーシングするステップと、パーシングされたメディアデータを表示するステップとを有する。
本発明は、ライブ+ノンライブブロードキャスト伝送中及びリアルタイムでのブロードキャスト伝送中に、広告は予め生成され、生成された広告を長い時間に亘って低いビットレートで伝送することができる。したがって、リアルタイムデータは、できるだけ最大ビットレートで受信され、広告は低いビットレートでゆっくり受信されるので、帯域幅効率が最大化される。
本発明による実施形態の上記態様及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
本発明の一実施形態によるコンテンツの伝送を概念的に示す図である。
本発明の一実施形態によるコンテンツを再生する受信器の再生装置を示す図である。
本発明の一実施形態によるコンテンツを再生する受信器の再生装置を示す図である。
本発明の一実施形態によるBBOXの構造を示す図である。
本発明の一実施形態により、サブボックスとしてIDENボックスを有するボックスを通じて伝送されるコンテンツを示す図である。
本発明の一実施形態によるIDENボックスの構造の一例を示す図である。
本発明の一実施形態によるコンテンツの伝送を概念的に示す図である。
ISOベースのメディアファイルフォーマットに基づいた一般的なコンテンツの構造を示す図である。
本発明の一実施形態により、コンテンツ提供者と再生装置の望ましい動作を示す図である。
本発明の一実施形態により、MOOVボックスとして役割する類似したボックスであるMOV2を示す図である。
本発明の一実施形態によるブロードキャスト受信の手順を示すフローチャートである。
本発明の一実施形態による他のブロードキャスト受信の手順を示すフローチャートである。
本発明の一実施形態によるメディアファイルを記録する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを記録する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを記録する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを記録する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを再生する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを再生する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを再生する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを再生する方法を示すフローチャートである。
本発明の一実施形態による記録装置を示すブロック構成図である。
本発明の一実施形態による再生装置を示すブロック構成図である。
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
次の説明において、具体的な構成及び構成要素のような特定詳細は、ただ本発明の実施形態の全般的な理解を助けるために提供されるだけである。したがって、本発明の範囲及び趣旨を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
ISOベースのメディアファイルフォーマットは、ISO/IEC国際標準14496−12:2005の“Information technology-coding of audio-visual objects-part12:ISO-base media file format”で定義されている。このフォーマットのファイルは、メディアデータ及びメタデータを含む。ISOベースのメディアファイルフォーマット内の基本ビルディングブロックは“ボックス(box)”と呼ばれ、ここで、ボックスは、ISOベースのメディアファイルフォーマット内のオブジェクト指向(objected-oriented)基本ビルディングブロックである。各ボックスは、ヘッダー及びペイロードを含む。ボックスヘッダーは、ボックスのタイプとボックスのサイズをバイト単位で示す。明示された複数のボックスは、ヘッダー内にバージョンナンバー及びフラグが含まれる“フルボックス(full box)”構成から派生される。ボックスは、他のボックスを含むことができる。ISOファイルフォーマットは、特定タイプのボックス内で許容可能なボックスタイプを規定する。
メディアデータ、例えばオーディオ/ビデオ(A/V)ファイルはメディアデータ(mdat)ボックスに格納され、メタデータはMOOVボックスに格納され、ファイルタイプはファイルタイプ(ftyp)ボックスに格納される。したがって、ISOベースのメディアファイルフォーマットは、A/Vデータ及びその詳細情報を含む複数のボックスを有する。ここで、“ボックス”は、データブロック又はコンテナと呼ばれる。
<BBOX>
図1は、本発明の一実施形態によるコンテンツの伝送を概念的に示す。詳細には、図1は、本発明の一実施形態によるメインコンテンツ100とともに伝送される付加コンテンツ(又は追加コンテンツ)102の伝送を示す。
図1を参照すると、付加コンテンツ102のデータは、図2及び図3を参照してより詳細に後述するように、適切なサイズのボックス又はチャンク(chunk)単位で断片化(segmentation)される。各セグメントは、本発明の一実施形態により提案される新たなボックス(以下、“BBOX”と称する)のペイロードとして含まれて伝送される。
図2は、本発明の一実施形態によるコンテンツを再生する受信器の再生装置(player)を示す。詳細には、図2は、本発明の一実施形態により、その伝送前に適当なサイズのボックス単位で断片化される付加コンテンツ102と、メインコンテンツ100と付加コンテンツ102を再生する受信器の再生装置を示す。
図2を参照すると、参照番号250は、本発明の実施形態におけるファイル構造を表す。
本発明の一実施形態によると、本来伝送されているメインコンテンツ100は、従来のMPEG-4フォーマットで伝送され、付加コンテンツ102のみが、新たなボックスBBOXのペイロード形態で伝送される。そのため、レガシー(legacy)、すなわち既存の再生装置200と新たな再生装置210両方共、コンテンツを問題なく再生する。
メインコンテンツ100が受信される場合、既存の再生装置200は、メインコンテンツ100が従来のフォーマットで伝送されるため、参照番号260で表すように、問題なくメインコンテンツ100を再生することができる。付加コンテンツ102が受信される場合、既存の再生装置200は、BBOXをパーシング(parsing)して認識できないボックスとして見なし、このBBOXを捨てる。
しかしながら、コンテンツ再生中にBBOXが着信する場合、新たな再生装置210は、複数のコンテンツアイテムの着信を示す通知として識別し、メインコンテンツ100と付加コンテンツ102との関係と用途に従ってBBOXを処理する。例えば、付加コンテンツ102がメインコンテンツ100を記述するアプリケーション、例えばウェブページ、絵(picture)、ウェブリンク、ディレクタ解説のようなオーディオトラック、及び第2言語オーディオトラックを含む場合、付加コンテンツ102は、メインコンテンツ100に含まれた複数のトラックに追加される一つ以上のトラックとして処理されるとよい。
他の実施形態として、付加コンテンツ102が地震、津波、集中豪雨のような緊急事態に関する通知を含む場合、新たな再生装置210は、付加コンテンツ102がメインコンテンツ100の前面に位置する、メインコンテンツ100をカバーする、あるいはメインコンテンツ100上で点滅する方式で、複数のコンテンツアイテムを同時に再生するとよい。それによって、ユーザーの関心がそこに喚起される。
他の実施形態としては、ライブブロードキャスト(live broadcast)の場合、そのブロードキャストの中間又は最後に伝送される広告又は次の番組に関する情報は、一般的に既に生成されたコンテンツアイテムであると考えられる。この場合、送信側では最大の帯域幅でライブコンテンツを伝送し、長い時間に渡って最小のビットレートで高画質の広告又は次の番組情報を伝送することがふさわしい。このとき、付加コンテンツ102は、メインコンテンツ100と共に伝送されるが、メインコンテンツ100が中断又は終了された後に再生されるように設定される。新たな再生装置210は、付加コンテンツ102を次に再生されるコンテンツとしてリストに追加して管理する。
図3は、本発明の一実施形態によるコンテンツを再生する受信器の再生装置を示す。詳細には、図3は、付加コンテンツを含むボックスがチャンク単位で断片化して伝送され、メインコンテンツと付加コンテンツを再生する、本発明の実施形態における受信器の再生装置を示す。図3では、参照番号350は、ボックスがセマンティックスの観点から分割されたり結合されたりするのではなく、むしろ、データがチャンクのように伝送されるものとして扱われる方法を示す。
図3を参照すると、本発明の実施形態によるBBOXをパーシングする再生装置310は、コンテンツIDを用いて各コンテンツアイテムの伝送データを物理的又は論理的に区分し、各コンテンツアイテムと関連したデータを集めて処理する。したがって、それぞれのコンテンツアイテムを再生するパーサー又はデコーダを含む再生装置310は、参照番号360で表すように一つの連続したコンテンツが伝送されるかのようにコンテンツを再生できる。
従来のISOベースのファイルフォーマットでは、ファイルはセマンティックスの観点から分割され、各部分はボックスとして処理される。しかしながら、すべてのタイプのボックスが複数のボックスに分割されることは、サポートされない。
しかしながら、図3のように、セマンティック単位のボックスをBBOXのペイロードとして伝送しつつ、伝送側は、その伝送中にデータの長さのような非セマンティック(non-semantic)単位でボックスを分割し、新たな再生装置310又は受信側は、参照番号360で表す各コンテンツIDに関連したペイロードを結合する。したがって、伝送中にすべての種類のボックスを任意のサイズの複数個のボックスに分割し、受信中にそれらを復元することが可能である。
図4は、本発明の一実施形態によるBBOXを示す。
図4は、従来のISOベースのファイルフォーマットのボックスタイプのうちのいずれか一つであるフルボックスを示し、ボックスのブランドネーム402は本発明で指定した‘BBOX’と表記する。上記したように、BBOXを表すためのフォーマットが従来のISOベースのファイルフォーマットに使用される方式と同じであるため、下位互換性(すなわち、従来の再生装置がわからないボックスであるか否かを判定可能にする)を保証できる。
しかしながら、上述したように、BBOXと呼ばれるブランドネーム402は、従来の再生装置が処理できるボックスIDタイプに属しないので、従来の再生装置は、このボックスを未知(unknown)のボックスとして判断し、参照番号400で指定されるボックスサイズだけスキップして次のボックスを処理する。
本発明の実施形態によるBBOX460は、大きくヘッダー情報450とペイロード420に分けられる。ペイロード420は、ファイルタイプボックス(FTYPボックス)、動画ヘッダーボックス(MOOVボックス)、動画フラグメントボックス(MOOFボックス)、メディアデータボックス(MDATボックス)などを含み、ヘッダー情報450は、BBOX460のサイズフィールド400、BBOX IDフィールド402、BBOX460のバージョン情報を示すバージョンフィールド404、及びフラグフィールド406のような基本データフィールドを含む。ヘッダー情報450は、基本データフィールドを用いてBBOX460の詳細の記述(description)が提供されるように設定される。記述は、基本的に関係と再生装置が遂行すべき動作から構成される。
サイズフィールド400は、BBOX460のサイズ情報を含む。従来の再生装置200は、未知のボックスとしてBBOX460を扱うため、サイズフィールド 400に該当するデータをスキップし、新たなボックスを受信する。
フラグフィールド460は、オプションフィールド410の存在有無を示すトグルビット(toggle bit)を含む。
BBOX460は、コンテンツIDフィールド408を用いてBBOX460に含まれたコンテンツが付加コンテンツと区別されるように設定される。2つ以上のコンテンツを伝送する場合、送信側は、それらのうちいずれか一つを従来のコンテンツフォーマットで送信する。この送信側は、コンテンツIDを表示するBBOXを使用せずに従来の方法で従来のコンテンツを伝送するため、コンテンツIDを割り当てられない。したがって、BBOXを使用する付加コンテンツが従来のコンテンツであることを指定するために、従来のコンテンツのコンテンツIDが‘0’として予約されることが望ましい。
BBOX460で使用可能なオプションフィールド410のタイプは、メインコンテンツと付加コンテンツ(BBOX460のペイロード420に含まれるコンテンツ)との関係、付加コンテンツに対する動作指示を含むことが望ましい。
メインコンテンツと付加コンテンツとの関係は、画面上の空間的関係、再生時間の関係、メインコンテンツと付加コンテンツとの間の構造的関係、及びメインコンテンツに対する付加コンテンツのセマンティックなどを含むとよい。
メインコンテンツと付加コンテンツとの関係のうち、空間的関係、時間的関係、構造的関係、メインコンテンツに対する付加コンテンツのセマンティック、及び付加コンテンツに対する動作指示について、各々以下に説明する。
<空間的関係>
画面上の空間的関係に関して、例えば、付加コンテンツがメインコンテンツの前面に位置するか、あるいはメインコンテンツの背面に位置するかを示すz軸上の順序の詳細が記述される。
メインコンテンツは、z軸上の‘0’に位置することが予め決められている。付加コンテンツがメインコンテンツの前面又は背面に位置するかに対しては負の数又は正の数により表現される。それによって、コンテンツが重なる場合に、メインコンテンツと付加コンテンツとの間の空間的相関関係を記述することは可能である。
画面上の他の空間的な関係に関して、メインコンテンツのサイズは、全体解像度であると仮定することができる。付加コンテンツがメインコンテンツ上のどの位置に配置されるかが指定されてもよい。複数のコンテンツアイテムが任意にマージされるので、メインコンテンツのサイズは、横軸上の最も左側を‘0’又は‘-1’にマッピングし、最も右側を‘1’にマッピングし、縦軸上の最も上側を‘0’又は‘-1’にマッピングし、最も下側を‘1’にマッピングして、付加コンテンツがメインコンテンツ上のどの位置に配置されるかを相対座標にて記述できるようにする。
画面上のさらに他の空間的関係に関して、付加コンテンツのサイズは、全体解像度であると仮定することができる。メインコンテンツは、付加コンテンツ上のどの位置に配置されるかを相対座標にて記述できてもよい。上述したように、メインコンテンツが(-1,-1)×(1,1)のサイズであり、付加コンテンツが(-2,-2)×(2,2)のサイズであり、z軸上の位置が負数で表示される場合、メインコンテンツは、絵画用額縁のように、付加コンテンツ内に配置されるように設定されてもよい。
画面上のさらに他の空間的関係に関して、上述した空間的関係情報は、3次元(three-dimensional:3D)空間で使用される。この場合、付加コンテンツは、図形(例えば、四角形、円、球、多角形、及び他の自由形モデル)に関する情報を含み、その付加コンテンツがその図形の内部にテクスチャ(texture)として使用される。付加コンテンツは、モデルが3D空間に配置される位置に関する情報をさらに含む。さらに、付加コンテンツは、仮想カメラが3D空間に配置される位置に関する情報を含む。上述した情報を用いて3D空間に配置されるコンテンツを再生できる再生装置は、任意の時間に関連したコンテンツを表示することができる。
画面上のさらに他の空間的関係として、メインコンテンツと付加コンテンツが順次又は同時に再生される場合に発生する遷移(transition)が記述される。一般的に、付加コンテンツが一瞬突然に再生され、あるいは消滅すると、ユーザーは、それを問題として認識する。付加コンテンツは、使用可能なインエフェクト(in-effect)とアウトエフェクト(out-effect)を記述及び準備し、再生装置が適切な遷移効果と一緒に使用するように指示するとよい。望ましくは、付加コンテンツは、この遷移期間も含むことが可能である。
画面上のさらに他の空間的関係に関して、付加コンテンツが配置される位置が数字で示されないことがある。この場合、‘フル画面’、‘一部画面’、‘画面のオブジェクトの前面’がセマンティックの観点からスクリーンの前面、後面、下部、又は側面に記述される場合、再生装置は、これらを固有のユーザーインターフェース(User Interface:UI)にマッピングさせてPIP(Picture-in-Picture)及び/又はポップアップの形態で使用することができる。
<時間的関係>
メインコンテンツと付加コンテンツとの間の時間関係に関して、付加コンテンツがメインコンテンツとともに同時に再生されるか否かを判定する記述が考慮されるとよい。同時に再生されることが記述されると、付加コンテンツは、再生装置において着信と同時にメインコンテンツとともに再生される。
付加コンテンツは、メインコンテンツと同期して再生されるように記述されてもよい。例えば、ユーザーの入力によりメインコンテンツの再生が停止すると、付加コンテンツの再生も停止されてもよい。
あるいは、付加コンテンツは、メインコンテンツと非同期化に再生されることが記述されてもよい。この場合、ユーザーの入力によりメインコンテンツの再生が停止しても、付加コンテンツは、継続して再生されてもよい。同様に、付加コンテンツの再生がユーザー入力により停止しても、メインコンテンツは継続して再生されてもよい。
再生される付加コンテンツはコンテンツ製作者の意図に従うので、ユーザーにより任意に再生される付加コンテンツを選択することができない。例えば、広告の場合、コンテンツ製作者は、ユーザーが広告を再生せず、あるいは広告を飛ばす、或いは中止することによって、メインコンテンツのみを再生することを所望しない。したがって、ユーザーが付加コンテンツを避けることができないように、付加コンテンツにおいて所定の記述がされる。
再生される付加コンテンツは、任意の相対時間又は絶対時間で記述されても有効である。例えば、スリラー映画が始まった後に相手時間で数分又は数時間が経過した後、犯人に対するヒントを与え、あるいはユーザーの意見を求めるために、質問コンテンツが再生されてもよい。他の例として、非常に楽しみに待たれていた映画のようなコンテンツが特定時刻に公開されるように設定される場合、映画がその特定時刻にすべての再生装置において再生されると、サーバ負荷などによって正常な視聴を保証できない。しかしながら、映画が再生される時刻を絶対時間として指定した後に、当該映画が予め伝送される場合には、すべての視聴者が同時にコンテンツの再生を問題なく始めることが可能である。
また、付加コンテンツは、メインコンテンツとともに伝送されるが、メインコンテンツが終了した後に再生されることが記述されてもよい。後述するように、付加コンテンツに対し実行される動作、コンテンツを格納するか否かを決定する動作が記述されてもよい。格納された付加コンテンツは、メインコンテンツが終了又は中断された後に再生される。
あるいは、付加コンテンツは、メインコンテンツとともに伝送されるが、メインコンテンツの再生を中断した後に先に再生されるように記述されてもよい。例えば、付加コンテンツが緊急の更新情報である場合、付加コンテンツが先に再生され、メインコンテンツは格納され、その後付加コンテンツが終了した後にメインコンテンツが再生される。
<構造的関係>
メインコンテンツと付加コンテンツは、対等又は従属的関係を有するように記述される。対等関係を有する場合、コンテンツは、空間的関係と時間的関係を考慮して再生される。従属的関係を有する場合、付加コンテンツのトラックは、メインコンテンツのトラックに追加され、まるでメインコンテンツのように再生される。例えば、付加コンテンツは、メインコンテンツに追加されて再生される、追加ビデオトラック、追加オーディオトラック、追加サブタイトルトラック、及び追加メタデータトラックのうち少なくとも一つを含むことができる。
<セマンティックス>
メインコンテンツと付加コンテンツが再生装置に着信し、再生装置がユーザーの選択を待機し、あるいはユーザーの選択なしにコンテンツ製作者の意図によって再生される場合、本発明の実施形態では、視聴者がどのコンテンツ又はどのトラックが使用可能で、選択されるかを決定できるようにコンテンツのセマンティックを記述する。例えば、コンテンツが広告として表示され、メインコンテンツが自動車広告であり、付加コンテンツがA自動車のBモデルの広告であるように、段階的に詳細なセマンティックを有するように記述する。他の例では、ニュース速報-公益-地震-震源地のようにセマンティックスが記述されると、再生装置は、公益目的で付加コンテンツのみを受信して選択的に再生し、不特定多数の対象に警告をブロードキャストできる。
このような再生装置はビデオ+オーディオのすべてのコンテンツアイテムを再生できるが、再生装置は、セマンティックを判定し、セマンティックがスピーチとして設定されている場合には、コンテンツをスピーチに変換してスピーカーを通じてブロードキャストする。他の例では、地域別天気又は湿度情報、電力使用量情報を伝送して、ビルディング冷暖房(air conditioning)制御、電力使用量制御、及び照度制御が可能である。また、国家全体の災難に関連して、公共インフラ(トンネル、交通信号システム、跳ね橋、道路車線、ダム、バンクなど)の制御が実現されてもよい。
もう一つの例では、事故が発生したトンネル又は高速道路に進入することを防止するように、交通情報を伝送するブロードキャストを運転者に送る。このブロードキャストを受信する車両は、付加コンテンツの交通情報と位置情報とを組み合わせて、トンネルに進入することを防止し、速度を減少させ、あるいは迂回路を決定する。
<動作指示>
コンテンツ製作者は、コンテンツが格納可能であるか否か、格納しなくてもよいか、又は格納しなければならないかも指定できる。BBOXで伝送されるコンテンツは、このような記述を含み、格納されることを防ぐ。再生装置がコンテンツを任意に格納又はコピーすることを防止するために格納が禁止されるコンテンツの場合、コンテンツは、再生に必要なデータが遅延結合(late binding)できるように生成されるとよい。例えば、コンテンツチャンクのサンプルサイズ及びサンプルの数のようなMDATボックスに包含された情報は、MOOV又はMOOFボックスのような他のボックスに含まれて伝送される。このボックスが別途のチャンネルで伝送され、あるいは異なる時間帯に伝送される場合、コンテンツチャンクのみを格納する再生装置は、コンテンツを再生することができない。
コンテンツを格納するように指示された場合、再生装置は、コンテンツを格納しなければならない。しかしながら、再生装置によっては、格納されるコンテンツのサイズが使用可能な空間のサイズより大きい、あるいは付加コンテンツを格納するための空き空間のサイズは、このコンテンツのサイズより小さいことがある。このような場合のために、格納されるコンテンツの最小サイズ又は最小範囲が指定されなければならない。再生装置は、最小サイズ又は範囲によってコンテンツを予め格納し、再生中に格納されていない残りのデータを追加的にダウンロード又はストリーミングする。
上述したメインコンテンツと付加コンテンツとの間の関係を示す情報、すなわち空間的関係、時間的関係、構造的関係、セマンティックス、及び動作指示は、後述するような本発明の実施形態に適用することができる。
<MDAT拡張(extension)>
本発明の実施形態によると、異なるコンテンツアイテムは、図5の参照番号504で表すように、同一の伝送経路を通じて混合されて伝送される。異なるコンテンツアイテムの識別のために、各コンテンツアイテムは、固有の識別子(以下、“IDEN”と称する)が割り当てられる。
図5は、本発明の実施形態により、サブボックスとしてIDENボックスを有するボックスを通じて伝送されるコンテンツを示す。詳細には、図5は、本発明の実施形態によるIDENボックスを有するボックスを通じて伝送される異なるコンテンツアイテム、すなわちメインコンテンツ500と付加コンテンツ502を示す。
図5を参照すると、各IDENボックスは、そのコンテンツのID及び2個のコンテンツアイテム間の空間的関係、時間的関係、構造的関係、及びコンテンツのセマンティックに関する情報を含む。
図6は、本発明の第2の実施形態によるIDENボックス600の構造の一例を示す。
図6を参照すると、IDENボックス600は、メディアデータ及びメディアデータを再生するためのメタデータ情報を有するペイロード620を含む。IDENボックス600は、ヘッダー情報650を含み、このヘッダー情報650は、ボックスサイズフィールド602、IDENボックスIDフィールド604、バージョン情報フィールド606、フラグフィールド608、及びコンテンツIDフィールド610を含む。
ボックスサイズフィールド602は、IDENボックス600のサイズを表し、IDENボックスIDフィールド604は、IDENボックス600を識別するためのIDを示す情報を含む。バージョン情報フィールド606は、IDENボックス600のバージョン情報を含み、フラグフィールド608はオプションフィールド612に対するトグルビットを含み、図4に示したようなフラグフィールド406と同一の役割を果たす。
コンテンツIDフィールド610は、ペイロード620に含まれるメディアデータ又はメタデータに対応するコンテンツのIDを含み、オプションフィールド612は、図4に示したようなオプションフィールド410と同一である。
IDENは、動画フラグメント(MOOF)ボックス、動画フラグメントランダムアクセス(MFRA)ボックス、メディアデータ(MDAT)ボックス、フリーボックス、スキップボックス、メタデータ(META)ボックス、及び追加のメタデータコンテナ(MECO)ボックスのようなISOベースのメディアフォーマット規格に規定された最上位ボックスに含まれる。
各IDENの空間的関係、時間的関係、構造的関係、及びコンテンツのセマンティックは、上述した説明と同一である。
したがって、再生装置は、入力されたストリームからIDENボックスIDフィールド604を抽出し、該当ボックスがIDENボックスであるか否かを判定する。IDENボックスであるとき、再生装置は、コンテンツIDフィールド610により指定されるコンテンツのペイロード620に含まれたデータを処理し、複数のコンテンツが転送されると判定する。
<MOOV拡張>
本発明により改善される従来技術またはISOベースのファイルフォーマットにおいて、MOOVボックスは1回以上着信されないように制限される。しかしながら、本発明の実施形態によると、MOOVボックスが2回以上着信されるようにMOOVボックスが拡張される場合における再生装置の再生手順が提供される。さらに、本実施形態において、MOOVボックスを代替する新たなボックスであるMOV2に対する再生手順が提供される。
図7は、本発明の実施形態によるコンテンツの伝送を概略的に示す。詳細には、図7は、本発明の実施形態によるメインコンテンツ700の伝送中に伝送される付加コンテンツ702を示す。
図8は、ISOベースのメディアファイルフォーマットによる一般的なコンテンツの構造を示す。
図8を参照すると、MOOVボックス802で記述されるトラック拡張(track extends:trex)1ボックス802aとtrex2ボックス802bは、MOOFボックス804,806を使用するフラグメント構成を通じて追加される。MOOVボックス802において、trex1ボックス802aは、MOOFボックス804に含まれたトラックフラグメント(track fragment:TRAF)1ボックス804aを指定し、trex2ボックス802bは、MOOFボックス806に含まれたTRAF2ボックス806aを指定する。TRAF1ボックス804aは、参照番号810で表すように、メディアデータが次のMDATボックスに位置する位置を指定する。また、TRAF2ボックス806aは、参照番号820で表すように、次のMDATボックスにメディアデータが配置される位置を指定する。しかしながら、MOOVが一回しか存在できない制限があるため、新たなトラック又はtrex3ボックスの形態で付加コンテンツが伝送されることは不可能である。
図9は、本発明の実施形態により、一つのファイルにMOOVボックスが一回以上存在する場合に、コンテンツ提供者と再生装置の動作を示す。
図9を参照すると、参照番号900は、本発明の実施形態によるISOベースのメディアファイルフォーマットのファイル構造を示す。2個のMOOVボックス902,912がファイルに存在することがわかる。このように、本発明の実施形態によると、新たなコンテンツを伝送するために、新たなコンテンツの情報を含むMOOVボックスが従来のファイル構造に追加される。
より詳細に説明すると、再生装置は、MOOVボックス902に含まれたtrex1ボックス902aとtrex2ボックス902bをパーシングし、パーシングされたtrex1ボックス902aとtrex2ボックス902bが各々指定するMOOFボックス904のtraf1ボックス904aとMOOFボックス908のtraf2ボックス908aを各々参照する。さらに、再生装置は、traf1ボックス904aとtraf2ボックス908aの情報を用いて、MDATボックス906,910に含まれたメディアデータを各々パーシングする。再生装置は、新たなMOOVボックス912が存在すると、以前のMOOVボックス902に存在しない新たに追加されたtrex3ボックス912aをパーシングし、trex3ボックス912aが参照するMOOFボックス914のtraf3ボックス914aに含まれた情報によってMDATボックス916に存在するメディアデータを再生する。
図9を参照すると、MDATボックス906,910,916とMOOFボックス904,908,914は、各々対をなすことがわかる。また、MOOVボックス902は、MOOFボックス904とMDATボックス906の対及びMOOFボックス908とMDATボックス910の対に対応し、MOOVボックス912は、MOOVボックス902に含まれるデータと異なるデータを有することがわかる。
図9に示すメディアファイルフォーマットのデータを記録するコンピュータ読み取り可能な記録媒体内の記録装置は、記録媒体内に、複数のコンテンツの中で第1のコンテンツ700に対応する少なくとも一つの第1の‘mdat’ボックス906(910)の対に対応する第1の‘moov’ボックス902と、第1の‘moof’ボックス904(908)を記録し、複数のコンテンツの中で第1のコンテンツ700を除いた第2のコンテンツ702に対応する少なくとも一つの第2の‘mdat’ボックス916の対に対応する第2の‘moov’ボックス912と第2の‘moof’ボックス914を記録し、第1の‘moov’ボックス902に含まれる‘moov’データと異なる‘moov’データを有する。
図10は、本発明の他の実施形態において、MOOVボックスとしての機能を果たす類似したボックスMOV2 1010を示し、MOOVボックスなしに以降の動作が可能であることを説明するためのものである。
ISOベースのメディアファイルフォーマットに一つのMOOVボックスのみが設けられるとするならば、図9のように、2個のMOOVボックスを設けることができない。したがって、図10では、他の実施形態として、付加コンテンツのメディアデータを有するMDATボックス916を参照する新たなtrexボックス‘trex3’912aを含むMOOVボックスには、新たな名前‘MOV2’ボックス1010が割り当てられる。これは、本発明がMOOVボックス以外の他のボックスにも適用可能であることを示す。
本発明の実施形態により提案される方法は、MOOVボックス912を用いて第3のトラックtrakの形態で付加コンテンツを提供する。‘trak’ボックスは図9及び図10に明示的に示されていないが、‘trak’ボックスは、ISOベースのメディアファイルフォーマットに従って、図9のMOOVボックス902,912と、図10の付加コンテンツ702に対するMOOVボックスとしての役割を果たすMOV2ボックス1010とに含まれる。再生装置は、以前に受信したMOOVボックス902と新たに受信したMOOVボックス912との間の差を比較によって検出し、追加又は削除された任意のトラックが存在する場合、その結果に従って再生環境の設定を変更する。
図9及び図10に示されていないが、本発明の実施形態によると、新たなMOOVボックス912又はMOV2ボックス1010に含まれるボックスは、ISOベースのメディアフォーマットで規定されたトラックtrakボックスとそのサブボックス、又は動画拡張(mvex)ボックスとそのサブボックスを含むことができる。
MOOVボックスを一回以上使用することは、複数のコンテンツアイテムだけでなく、単一コンテンツの伝送にも有用である。例えば、従来のデジタルブロードキャストでは、チャンネルが変更されると、プログラムリストに該当する情報が周期的に伝送され、この情報を用いてチャンネル切り替えが遂行される。代表的な例として、MPEG-2TSが使用される場合に伝送されるPMT(Program Map Table)情報を考えるとよい。しかしながら、ISOベースのファイルフォーマットをブロードキャストコンテンツの伝送に使用できるようにするために、コンテンツの伝送中にユーザーがチャンネルを切り替えて視聴しようとする再生装置に対してコンテンツ構成及びデコーダ構成に関する情報を周期的に提供するボックスは、存在しない。したがって、ブロードキャストのために周期的に反復されるボックスが必要とされ、これが複数のMOOVボックスを用いて達成されるとよい。
図11は、本発明の実施形態による、再生装置がブロードキャスト受信を遂行する手順を示す。
図11を参照すると、要求時にブロードキャストコンテンツを受信できる再生装置は、ステップ1100において、チャンネルにおいて伝送中である放送番組を示すガイド情報、例えばEPG(Electronic Program Guide)情報とRSS(Really Simple Syndication)情報のようなメタデータ情報を受信する。ステップ1102において、再生装置は、伝送中であるコンテンツを受信するためのURL(Uniform Resource Location)又は他のメタデータ、例えば最も近い再生範囲のMOOVボックスが配置される位置を判定する。
ステップ1104において、再生装置は、伝送中であるコンテンツを受信するために、URLに対応するコンテンツの伝送を要求しつつ、最も近い再生範囲のMOOVボックスから伝送を開始できるように要求範囲を指定する。ステップ1106において、再生装置は、MOOVボックスから読み取られるコンテンツを再生する。
ステップ1108において、再生装置は、新たなMOOVボックスを受信すると、既存のMOOVボックスと受信された新たなMOOVボックスとを比較して変更又は追加されたトラックが存在するか否かを判定し、その判定結果に従って再生のための設定を変更する。
図12は、本発明の実施形態による再生装置がブロードキャスト受信を遂行する他の手順を示す。
図12を参照すると、ステップ1200において、マルチキャストブロードキャストコンテンツを受信できる再生装置は、チャンネルで伝送中であるブロードキャストコンテンツをパーシングし、MOOVボックスが現れるまで待機する。
ステップ1202において、MOOVボックスが現れる場合、再生装置は、MOOVボックスからコンテンツを読み取って再生する。
ステップ1204において、新たなMOOVボックスが受信されると、再生装置は、既存のMOOVボックスと受信された新たなMOOVボックスとを比較して変更又は追加されたトラックが存在するか否かを判定し、その結果に従って再生のための設定を変更する。
図13は、本発明の実施形態によるメディアファイルを記録する方法を示す。
図13を参照すると、記録装置は、ステップ1300において、生成されるメディアファイルがメインコンテンツであるか否かを判定する。メインコンテンツである場合、ステップ1302において、記録装置は、メインコンテンツを生成する。記録装置は、ステップ1304において、生成されたメインコンテンツをISOベースのメディアファイルフォーマットに規定されたボックスに含め、ステップ1310において、付加コンテンツが存在するか否かを判定する。ステップ1310において付加コンテンツが存在しない場合には、記録装置は、ステップ1314においてこのボックスを符号化して格納する。
一方、ステップ1310において付加コンテンツが存在する場合、記録装置は、ステップ1312において、BBOXに付加コンテンツを有するボックスを含める。
ステップ1300において、生成されるメディアファイルがメインコンテンツでない場合、記録装置は、ステップ1306において付加コンテンツを生成し、ステップ1308において生成された付加コンテンツをISOベースのメディアファイルフォーマットに規定されたボックスに含め、ステップ1312において付加コンテンツを有するボックスをBBOXに含め、ステップ1314においてこのボックスを格納する。
図14は、本発明の実施形態によるメディアファイルを記録する方法を示す。
図14を参照すると、ステップ1400において、記録装置は、該当コンテンツがメインコンテンツであるか否かを判定する。メインコンテンツである場合には、記録装置は、ステップ1402においてメインコンテンツを生成し、ステップ1404において、生成されたメインコンテンツをISOベースのメディアファイルフォーマットに規定されたボックスに含める。ステップ1406において付加コンテンツが存在しない場合、記録装置は、ステップ1416において、共通ボックスを符号化して格納する。一方、ステップ1406において付加コンテンツが存在する場合、記録装置は、ステップ1404において生成されたボックスのペイロードにサブボックス(ステップ1408)としてID#1を有するIDENボックスを挿入した後に、ステップ1416においてこのボックスを符号化して格納する。
ステップ1400において該当コンテンツがメインコンテンツでない場合、記録装置は、ステップ1410において付加コンテンツを生成し、ステップ1412において生成された付加コンテンツをISOベースのメディアファイルフォーマットに規定されたボックスに含め、ステップ1414において生成されたボックスのペイロードにサブボックスとしてID#2を有するIDENボックスを挿入し、その後に、ステップ1416においてこのボックスを符号化して格納する。
図15は、本発明の一実施形態によるメディアファイルを記録する方法を示す。
図15を参照すると、記録装置は、ステップ1500においてMOOVボックス及びそのサブボックスを生成し、ステップ1502においてMOOFボックス及びサブボックスを生成する。ステップ1504において、記録装置は、メディアデータファイルを符号化した後にMDATボックスを生成する。
記録装置は、ステップ1506において、コンテンツ生成が完了したか否かを判定し、コンテンツ生成が完了した場合には上記方法を終了する。しかしながら、コンテンツ生成が完了しない場合には、記録装置は、ステップ1508において、新たなコンテンツが追加されるか否かを判定する。新たなコンテンツが追加される場合、上記方法はステップ1500に戻る。新たなコンテンツが追加されない場合、上記方法はステップ1502に戻る。
図16は、本発明の一実施形態によるメディアファイルを記録する方法を示す。
図16を参照すると、記録装置は、ステップ1600においてMOOVボックス及びそのサブボックスを生成し、ステップ1602においてMOOFボックス及びサブボックスを生成する。ステップ1604において、記録装置は、メディアデータファイルを符号化した後にMDATボックスを生成する。
記録装置は、ステップ1606において、コンテンツ生成が完了したか否かを判定し、コンテンツ生成が完了した場合には上記方法を終了する。しかしながら、コンテンツ生成が完了しない場合には、ステップ1608において、記録装置は、新たなコンテンツが追加されるか否かを判定する。新たなコンテンツが追加される場合、記録装置は、ステップ1610において、MOV2ボックス及びそのサブボックスを生成した後、上記方法はステップ1602に戻る。すなわち、ステップ1608において新たなコンテンツが追加される場合、記録装置は、ステップ1610において、MOOVボックスの代わりに図10で定義されたMOV2ボックスとそのサブボックスを生成し、ステップ1602に進む。新たなコンテンツが追加されない場合には、上記方法はステップ1602に戻る。
図17は、本発明の一実施形態によるメディアファイルを再生する方法を示す。
図17を参照すると、再生装置は、ステップ1700において入力されたストリームからボックスのヘッダーをパーシングし、ステップ1702においてボックスがBBOXであるか否かを判定する。ボックスがBBOXでない場合、再生装置は、ステップ1704において、ボックスのペイロードに含まれた情報をパーシングし、ステップ1706において、パーシングされた情報を処理し、このパーシングされた情報に従ってオーディオ/ビデオ(A/V)復号化してメディアデータを再生する。
しかしながら、ステップ1702においてボックスがBBOXである場合、再生装置は、ステップ1708において付加コンテンツの存在を確認し、ステップ1710においてボックスのヘッダーをパーシングする。再生装置は、ステップ1712においてボックスのペイロードに含まれた情報をパーシングした後、ステップ1714において、パーシングされた情報を処理し、そのパーシングされた情報に従ってA/V復号化してメディアデータを再生する。
図18は、本発明の一実施形態によるメディアファイルを再生する方法を示す。
図18を参照すると、再生装置は、ステップ1800において入力されたストリームからボックスのヘッダーをパーシングし、ステップ1802においてボックスのペイロードに含まれたサブボックスをパーシングする。ステップ1804において、再生装置は、サブボックスにIDENボックスが存在するか否かを確認する。IDENボックスが存在しない場合、再生装置は、ステップ1806において、パーシングされた情報を処理し、このパーシングされた情報に従ってA/V復号化してメディアデータを再生する。
しかしながら、サブボックスがIDENボックスを含む場合、再生装置は、ステップ1808において付加コンテンツの存在を確認し、ステップ1810においてボックスのペイロードに含まれた情報をパーシングする。再生装置は、ステップ1812において、パーシングされた情報を処理し、このパーシングされた情報に従ってA/V復号化してメディアデータを再生する。
図19は、本発明の実施形態によるメディアファイルを再生する方法を示す。
図19を参照すると、再生装置は、ステップ1900において入力されたストリームからボックスのヘッダーをパーシングし、ステップ1902においてパーシングされた情報に基づいてボックスがMOOVボックスであるか否かを判定する。ボックスがMOOVボックスでない場合、再生装置は、ステップ1904において、ペイロードに含まれた情報をパーシングし、ステップ1906において、パーシングされた情報を処理し、そのパーシングされた情報に従ってA/V復号化してメディアデータを再生する。
しかしながら、ボックスがMOOVボックスである場合、再生装置は、ステップ1908において、MOOVボックスが2番目のMOOVボックスであるか、あるいはそれ以後のMOOVボックスであるかを判定する。2番目又は以後のMOOVボックスでない場合、その方法はステップ1904に進む。一方、MOOVボックスが2番目又は以後のMOOVボックスである場合、再生装置は、メインコンテンツでなく付加コンテンツのMOOVボックスであると確認し、ステップ1910においてペイロードに含まれた情報をパーシングする。ステップ1912において、再生装置は、コンテンツのトラック情報を更新した後にステップ1906に進む。
図20は、本発明の実施形態によるメディアファイルを再生する方法を示す。
図20を参照すると、再生装置は、ステップ2000において入力されたストリームからボックスのヘッダーをパーシングし、ステップ2002においてパーシングしたヘッダーの名称がMOV2ボックスであるか否かを判定する。パーシングされたヘッダーの名称がMOV2ボックスでない場合、再生装置は、ステップ2004においてペイロードに含まれた情報をパーシングし、ステップ2006において、パーシングされた情報を処理し、このパーシングされた情報に従ってA/V復号化してメディアデータを再生する。
一方、ステップ2002においてパーシングされたヘッダーの名称がMOV2ボックスである場合、再生装置は、ステップ2008においてペイロードに含まれた情報をパーシングし、ステップ2010においてコンテンツがメインコンテンツでなく付加コンテンツであると判定されると、コンテンツのトラック構成情報を更新する。
図21は、本発明の一実施形態による記録装置2100を示すブロック構成図である。
図21を参照すると、記録装置2100は、上述した本発明の実施形態によるISOベースのメディアファイルを生成して格納部2104に格納する生成部2102を含む。
より詳細には、生成部2102は、異なる複数のコンテンツアイテム各々に対するメディアデータを含むボックスと、メディアデータを再生するためのメタデータ情報を含むボックスとを生成し、複数のコンテンツアイテムのうち少なくとも一つの第2のコンテンツを識別する識別情報を、第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスとに挿入する。格納部2104は、生成部2102により生成されるボックスを格納する。
また、生成部2102は、 複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスを生成し、複数のコンテンツアイテムの中で第2のコンテンツに対応する少なくとも一つの第2のメディアデータ(mdat)ボックスと第2の動画フラグメント(moof)ボックスとの対に対応し、第1の動画メタデータ(moov)ボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスを生成する。格納部2104は、生成部1202により生成された第1及び第2のメディアデータ(mdat)ボックス、第1及び第2の動画フラグメント(moof)ボックス、及び第1及び第2の動画メタデータ(moov)ボックスを格納する。
図22は、本発明の一実施形態による再生装置2200を示すブロック構成図である。
図22を参照すると、再生装置2200は、メディアファイルを受信して処理部2204に出力する入力部2202を含む。より詳細に説明すると、入力部2202は、異なる複数のコンテンツ各々のメディアデータを含むボックスとメディアデータを再生するために必要なメタデータ情報を含むボックスを受信する。
上述した本発明の実施形態により、処理部2204は、入力されたボックスをパーシングし、複数のコンテンツアイテムの中から少なくとも一つの第2のコンテンツを識別する識別情報をパーシングし、識別情報に従って第2のコンテンツのメディアデータと第2のコンテンツのメディアデータを再生するためのメタデータ情報をパーシングし、パーシングされたメタデータ情報を用いてメディアデータを表示するディスプレイ部2206を制御する。
加えて、処理部2204は、複数のコンテンツアイテムの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスをパーシングし、複数のコンテンツアイテムの中から第2のコンテンツに対応する少なくとも一つの第2のメディアデータ(mdat)ボックスと第2の動画フラグメント(moof)ボックスとの対に対応し、第1の動画メタデータ(moov)ボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータ(mdat)ボックスをパーシングする。ディスプレイ部2206は、処理部2204によりパーシングされたメディアデータを表示する。
プログラムが実行される場合、本発明によるコンピュータ読み取り可能な記録媒体は、第1のコンテンツのメディアデータを含むボックスを記録するステップと、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを記録するステップと、第2のコンテンツのメディアデータを含むボックスを記録するステップと、第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを記録するステップとを有する装置を制御する。第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスは、各々第2のコンテンツのための識別情報を含む。
以上、本発明を具体的な実施形態に関して図示及び説明したが、添付した特許請求の範囲により規定されるような本発明の精神及び範囲を外れることなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
本発明は、一般的にMPEG(Moving Picture Experts Group)ベースのメディアファイルフォーマットによるコンテンツの伝送に関して、特に国際標準化機構(International Organization for Standardization:ISO)ベースのメディアファイルフォーマットを用いてコンテンツを伝送するメディアファイル記録及び再生装置及び方法と、そのためのコンピュータ読み取り可能な記録媒体に関する。
既存のMPEG-4 Part 12 ISOベースのファイルフォーマットで指定された動画メタデータボックス“MOOV”は、一つのコンテンツアイテム(複数のリソース)のみを記述できる。したがって、既存のISOベースのファイルフォーマットでは、複数のコンテンツアイテムを記述する方法又は構成に対する記載は全くない。従来のISOベースのファイルフォーマットに基づき、複数のコンテンツアイテムが伝送されることを仮定していないため、複数のコンテンツアイテムを区分する方法がない。したがって、一つのコンテンツアイテムを伝送する間に、付加コンテンツアイテム(又は追加アイテム)を一つのコンテンツアイテムと同一の伝送経路を通じて伝送することができない。しかしながら、伝送効率又は応答時間の改善のためには、一回の要求で複数のコンテンツアイテムを伝送することが有利である。
クライアントが予想しないデータの伝送に対してもマルチ伝送が有効である。例えば、ニュースアップデート及び非常事態に関連した異なるコンテンツアイテムに対して、クライアントが予めそれらを受信することを期待できないので、クライアントからサーバに対し要求を送信することができない。したがって、マルチ伝送は、一つの通信チャンネルを介して複数のコンテンツアイテムを転送するのに有用である。
上述したように、既存のISOベースのファイルフォーマットでは、複数のコンテンツアイテムが伝送されることが想定されていないため、複数のコンテンツアイテムを区分する方法がなかった。このため、一つのコンテンツアイテムの伝送中に、付加コンテンツアイテム(又は追加アイテム)を一つのコンテンツアイテムと同一の伝送経路を通じて伝送することができないという問題があった。
したがって、本発明は上述した従来技術の問題点に鑑みてなされたものであって、その目的は、ISOベースのファイルフォーマットに規定されたメディアデータファイルを記録及び再生する装置及び方法とその記録媒体を提供することにある。
本発明の他の目的は、複数のコンテンツアイテムの伝送中に、コンテンツのセマンティックと現在コンテンツとの関係とを伝達するための方法及び装置とその記録媒体を提供することにある。
また、本発明の目的は、複数のコンテンツアイテムの伝送中に、コンテンツのセマンティック、現在コンテンツとの関係、及び伝送されるコンテンツアイテムを処理する方法及び装置とその記録媒体を提供することにある。
上記のような目的を達成するために、本発明の一態様によれば、コンピュータ読み取り可能な記録媒体が提供される。コンピュータ読み取り可能な記録媒体は、第1のコンテンツのメディアデータを含むボックスと、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスと、第2のコンテンツのメディアデータを含むボックスと、第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスとを含み、第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスは、各々第2のコンテンツのための識別情報を含む。
本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体が提供される。コンピュータ読み取り可能な記録媒体は、複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスの対に対応する第1の動画メタデータ(moov)ボックスと、複数のコンテンツの中で第1のコンテンツを除いた第2のコンテンツに対応する少なくとも一つの第2のメディアデータボックスと第2の動画フラグメントボックスの対に対応し、第1の動画メタデータボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスとを含む。
また、本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体にメディアファイルを記録する記録装置が提供される。この記録装置は、第1のコンテンツのメディアデータを含むボックスと、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスと、第2のコンテンツのメディアデータを含むボックスと、第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを生成する生成部と、生成されたボックスを格納する格納部とを含み、第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスは、各々第2のコンテンツのための識別情報を含む。
さらに、本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体にメディアファイルを記録する記録装置が提供される。記録装置は、複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスを生成し、複数のコンテンツの中で第1のコンテンツを除いた第2のコンテンツに対応する少なくとも一つの第2のメディアデータボックスと第2の動画フラグメントボックスとの対に対応し、第1の動画メタデータボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスを生成する生成部と、生成された第1及び第2のメディアデータボックス、第1及び第2の動画フラグメントボックス、及び第1及び第2の動画メタデータボックスを格納する格納部とを含む。
本発明の他の態様によれば、メディアファイルを再生する再生装置が提供される。再生装置は、第1のコンテンツのメディアデータを含むボックス、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックス、第2のコンテンツのメディアデータを含むボックス、及び第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを受信する入力部と、受信されたボックスをパーシングし、パーシングされたメタデータ情報を用いてメディアデータが表示されるように処理する処理部と、処理部によりパーシングされたメディアデータを表示するディスプレイ部とを含み、第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスは、各々第2のコンテンツのための識別情報を含む。
また、本発明の他の態様によれば、メディアファイルを再生する再生装置が提供される。この再生装置は、相互に異なる複数のコンテンツの各々に対して、各コンテンツのメディアデータを含むボックスと、メディアデータを再生するために必要なメタデータ情報を含むストリームとを受信する入力部と、ストリームから、複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moov)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスをパーシングし、複数のコンテンツの中で第1のコンテンツを除いた第2のコンテンツに対応する少なくとも一つの第2のメディアデータボックスと第2の動画フラグメントボックスとの対に対応し、第1の動画メタデータボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスをパーシングする処理部と、処理部によりパーシングされるメディアデータを表示するディスプレイ部とを含む。
さらに、本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体にメディアファイルを記録する方法が提供される。その方法は、第1のコンテンツのメディアデータを含むボックスを生成するステップと、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを生成するステップと、第2のコンテンツのメディアデータを含むボックスを生成するステップと、第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを生成するステップと、生成されたボックスを格納するステップとを有し、第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスは、各々第2のコンテンツのための識別情報を含む。
本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体を記録する方法が提供される。その方法は、複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスを生成するステップと、複数のコンテンツの中で第1のコンテンツを除いた第2のコンテンツに対応する少なくとも一つの第2のメディアデータボックスと第2の動画フラグメントボックスとの対に対応し、第1の動画メタデータボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスを生成するステップと、生成された第1及び第2のメディアデータボックス、第1及び第2の動画フラグメントボックス、及び第1及び第2の動画メタデータボックスを格納するステップとを有する。
なお、本発明の他の態様によれば、メディアファイルを再生する方法が提供される。その方法は、第1のコンテンツのメディアデータを含むボックスを受信するステップと、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを受信するステップと、第2のコンテンツのメディアデータを含むボックスを受信するステップと、第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを受信するステップと、受信されたボックスから、第2のコンテンツを識別するための識別情報をパーシングするステップと、識別情報によって、第2のコンテンツのメディアデータと第2のコンテンツのメディアデータを再生するためのメタデータ情報とをパーシングするステップと、パーシングされたメタデータ情報を用いてメディアデータを表示するように処理するステップとを有する。
また、本発明の他の態様によれば、コンピュータ読み取り可能な記録媒体を再生する方法が提供される。その方法は、異なる複数のコンテンツ各々に対して、各コンテンツのメディアデータを含むボックスとメディアデータを再生するために必要なメタデータ情報を含むストリームを受信するステップと、ストリームから、複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスをパーシングするステップと、複数のコンテンツの中で第1のコンテンツを除いた第2のコンテンツに対応する少なくとも一つの第2のメディアデータボックスと第2の動画フラグメントボックスとの対に対応し、第1の動画メタデータボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスをパーシングするステップと、パーシングされたメディアデータを表示するステップとを有する。
本発明は、ライブ+ノンライブブロードキャスト伝送中及びリアルタイムでのブロードキャスト伝送中に、広告は予め生成され、生成された広告を長い時間に亘って低いビットレートで伝送することができる。したがって、リアルタイムデータは、できるだけ最大ビットレートで受信され、広告は低いビットレートでゆっくり受信されるので、帯域幅効率が最大化される。
本発明による実施形態の上記態様及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
本発明の一実施形態によるコンテンツの伝送を概念的に示す図である。
本発明の一実施形態によるコンテンツを再生する受信器の再生装置を示す図である。
本発明の一実施形態によるコンテンツを再生する受信器の再生装置を示す図である。
本発明の一実施形態によるBBOXの構造を示す図である。
本発明の一実施形態により、サブボックスとしてIDENボックスを有するボックスを通じて伝送されるコンテンツを示す図である。
本発明の一実施形態によるIDENボックスの構造の一例を示す図である。
本発明の一実施形態によるコンテンツの伝送を概念的に示す図である。
ISOベースのメディアファイルフォーマットに基づいた一般的なコンテンツの構造を示す図である。
本発明の一実施形態により、コンテンツ提供者と再生装置の望ましい動作を示す図である。
本発明の一実施形態により、MOOVボックスとして役割する類似したボックスであるMOV2を示す図である。
本発明の一実施形態によるブロードキャスト受信の手順を示すフローチャートである。
本発明の一実施形態による他のブロードキャスト受信の手順を示すフローチャートである。
本発明の一実施形態によるメディアファイルを記録する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを記録する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを記録する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを記録する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを再生する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを再生する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを再生する方法を示すフローチャートである。
本発明の一実施形態によるメディアファイルを再生する方法を示すフローチャートである。
本発明の一実施形態による記録装置を示すブロック構成図である。
本発明の一実施形態による再生装置を示すブロック構成図である。
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
次の説明において、具体的な構成及び構成要素のような特定詳細は、ただ本発明の実施形態の全般的な理解を助けるために提供されるだけである。したがって、本発明の範囲及び趣旨を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
ISOベースのメディアファイルフォーマットは、ISO/IEC国際標準14496−12:2005の“Information technology-coding of audio-visual objects-part12:ISO-base media file format”で定義されている。このフォーマットのファイルは、メディアデータ及びメタデータを含む。ISOベースのメディアファイルフォーマット内の基本ビルディングブロックは“ボックス(box)”と呼ばれ、ここで、ボックスは、ISOベースのメディアファイルフォーマット内のオブジェクト指向(objected-oriented)基本ビルディングブロックである。各ボックスは、ヘッダー及びペイロードを含む。ボックスヘッダーは、ボックスのタイプとボックスのサイズをバイト単位で示す。明示された複数のボックスは、ヘッダー内にバージョンナンバー及びフラグが含まれる“フルボックス(full box)”構成から派生される。ボックスは、他のボックスを含むことができる。ISOファイルフォーマットは、特定タイプのボックス内で許容可能なボックスタイプを規定する。
メディアデータ、例えばオーディオ/ビデオ(A/V)ファイルはメディアデータ(mdat)ボックスに格納され、メタデータはMOOVボックスに格納され、ファイルタイプはファイルタイプ(ftyp)ボックスに格納される。したがって、ISOベースのメディアファイルフォーマットは、A/Vデータ及びその詳細情報を含む複数のボックスを有する。ここで、“ボックス”は、データブロック又はコンテナと呼ばれる。
<BBOX>
図1は、本発明の一実施形態によるコンテンツの伝送を概念的に示す。詳細には、図1は、本発明の一実施形態によるメインコンテンツ100とともに伝送される付加コンテンツ(又は追加コンテンツ)102の伝送を示す。
図1を参照すると、付加コンテンツ102のデータは、図2及び図3を参照してより詳細に後述するように、適切なサイズのボックス又はチャンク(chunk)単位で断片化(segmentation)される。各セグメントは、本発明の一実施形態により提案される新たなボックス(以下、“BBOX”と称する)のペイロードとして含まれて伝送される。
図2は、本発明の一実施形態によるコンテンツを再生する受信器の再生装置(player)を示す。詳細には、図2は、本発明の一実施形態により、その伝送前に適当なサイズのボックス単位で断片化される付加コンテンツ102と、メインコンテンツ100と付加コンテンツ102を再生する受信器の再生装置を示す。
図2を参照すると、参照番号250は、本発明の実施形態におけるファイル構造を表す。
本発明の一実施形態によると、本来伝送されているメインコンテンツ100は、従来のMPEG-4フォーマットで伝送され、付加コンテンツ102のみが、新たなボックスBBOXのペイロード形態で伝送される。そのため、レガシー(legacy)、すなわち既存の再生装置200と新たな再生装置210両方共、コンテンツを問題なく再生する。
メインコンテンツ100が受信される場合、既存の再生装置200は、メインコンテンツ100が従来のフォーマットで伝送されるため、参照番号260で表すように、問題なくメインコンテンツ100を再生することができる。付加コンテンツ102が受信される場合、既存の再生装置200は、BBOXをパーシング(parsing)して認識できないボックスとして見なし、このBBOXを捨てる。
しかしながら、コンテンツ再生中にBBOXが着信する場合、新たな再生装置210は、複数のコンテンツアイテムの着信を示す通知として識別し、メインコンテンツ100と付加コンテンツ102との関係と用途に従ってBBOXを処理する。例えば、付加コンテンツ102がメインコンテンツ100を記述するアプリケーション、例えばウェブページ、絵(picture)、ウェブリンク、ディレクタ解説のようなオーディオトラック、及び第2言語オーディオトラックを含む場合、付加コンテンツ102は、メインコンテンツ100に含まれた複数のトラックに追加される一つ以上のトラックとして処理されるとよい。
他の実施形態として、付加コンテンツ102が地震、津波、集中豪雨のような緊急事態に関する通知を含む場合、新たな再生装置210は、付加コンテンツ102がメインコンテンツ100の前面に位置する、メインコンテンツ100をカバーする、あるいはメインコンテンツ100上で点滅する方式で、複数のコンテンツアイテムを同時に再生するとよい。それによって、ユーザーの関心がそこに喚起される。
他の実施形態としては、ライブブロードキャスト(live broadcast)の場合、そのブロードキャストの中間又は最後に伝送される広告又は次の番組に関する情報は、一般的に既に生成されたコンテンツアイテムであると考えられる。この場合、送信側では最大の帯域幅でライブコンテンツを伝送し、長い時間に渡って最小のビットレートで高画質の広告又は次の番組情報を伝送することがふさわしい。このとき、付加コンテンツ102は、メインコンテンツ100と共に伝送されるが、メインコンテンツ100が中断又は終了された後に再生されるように設定される。新たな再生装置210は、付加コンテンツ102を次に再生されるコンテンツとしてリストに追加して管理する。
図3は、本発明の一実施形態によるコンテンツを再生する受信器の再生装置を示す。詳細には、図3は、付加コンテンツを含むボックスがチャンク単位で断片化して伝送され、メインコンテンツと付加コンテンツを再生する、本発明の実施形態における受信器の再生装置を示す。図3では、参照番号350は、ボックスがセマンティックスの観点から分割されたり結合されたりするのではなく、むしろ、データがチャンクのように伝送されるものとして扱われる方法を示す。
図3を参照すると、本発明の実施形態によるBBOXをパーシングする再生装置310は、コンテンツIDを用いて各コンテンツアイテムの伝送データを物理的又は論理的に区分し、各コンテンツアイテムと関連したデータを集めて処理する。したがって、それぞれのコンテンツアイテムを再生するパーサー又はデコーダを含む再生装置310は、参照番号360で表すように一つの連続したコンテンツが伝送されるかのようにコンテンツを再生できる。
従来のISOベースのファイルフォーマットでは、ファイルはセマンティックスの観点から分割され、各部分はボックスとして処理される。しかしながら、すべてのタイプのボックスが複数のボックスに分割されることは、サポートされない。
しかしながら、図3のように、セマンティック単位のボックスをBBOXのペイロードとして伝送しつつ、伝送側は、その伝送中にデータの長さのような非セマンティック(non-semantic)単位でボックスを分割し、新たな再生装置310又は受信側は、参照番号360で表す各コンテンツIDに関連したペイロードを結合する。したがって、伝送中にすべての種類のボックスを任意のサイズの複数個のボックスに分割し、受信中にそれらを復元することが可能である。
図4は、本発明の一実施形態によるBBOXを示す。
図4は、従来のISOベースのファイルフォーマットのボックスタイプのうちのいずれか一つであるフルボックスを示し、ボックスのブランドネーム402は本発明で指定した‘BBOX’と表記する。上記したように、BBOXを表すためのフォーマットが従来のISOベースのファイルフォーマットに使用される方式と同じであるため、下位互換性(すなわち、従来の再生装置がわからないボックスであるか否かを判定可能にする)を保証できる。
しかしながら、上述したように、BBOXと呼ばれるブランドネーム402は、従来の再生装置が処理できるボックスIDタイプに属しないので、従来の再生装置は、このボックスを未知(unknown)のボックスとして判断し、参照番号400で指定されるボックスサイズだけスキップして次のボックスを処理する。
本発明の実施形態によるBBOX460は、大きくヘッダー情報450とペイロード420に分けられる。ペイロード420は、ファイルタイプボックス(FTYPボックス)、動画メタデータボックス(MOOVボックス)、動画フラグメントボックス(MOOFボックス)、メディアデータボックス(MDATボックス)などを含み、ヘッダー情報450は、BBOX460のサイズフィールド400、BBOX IDフィールド402、BBOX460のバージョン情報を示すバージョンフィールド404、及びフラグフィールド406のような基本データフィールドを含む。ヘッダー情報450は、基本データフィールドを用いてBBOX460の詳細の記述(description)が提供されるように設定される。記述は、基本的に関係と再生装置が遂行すべき動作から構成される。
サイズフィールド400は、BBOX460のサイズ情報を含む。従来の再生装置200は、未知のボックスとしてBBOX460を扱うため、サイズフィールド 400に該当するデータをスキップし、新たなボックスを受信する。
フラグフィールド460は、オプションフィールド410の存在有無を示すトグルビット(toggle bit)を含む。
BBOX460は、コンテンツIDフィールド408を用いてBBOX460に含まれたコンテンツが付加コンテンツと区別されるように設定される。2つ以上のコンテンツを伝送する場合、送信側は、それらのうちいずれか一つを従来のコンテンツフォーマットで送信する。この送信側は、コンテンツIDを表示するBBOXを使用せずに従来の方法で従来のコンテンツを伝送するため、コンテンツIDを割り当てられない。したがって、BBOXを使用する付加コンテンツが従来のコンテンツであることを指定するために、従来のコンテンツのコンテンツIDが‘0’として予約されることが望ましい。
BBOX460で使用可能なオプションフィールド410のタイプは、メインコンテンツと付加コンテンツ(BBOX460のペイロード420に含まれるコンテンツ)との関係、付加コンテンツに対する動作指示を含むことが望ましい。
メインコンテンツと付加コンテンツとの関係は、画面上の空間的関係、再生時間の関係、メインコンテンツと付加コンテンツとの間の構造的関係、及びメインコンテンツに対する付加コンテンツのセマンティックなどを含むとよい。
メインコンテンツと付加コンテンツとの関係のうち、空間的関係、時間的関係、構造的関係、メインコンテンツに対する付加コンテンツのセマンティック、及び付加コンテンツに対する動作指示について、各々以下に説明する。
<空間的関係>
画面上の空間的関係に関して、例えば、付加コンテンツがメインコンテンツの前面に位置するか、あるいはメインコンテンツの背面に位置するかを示すz軸上の順序の詳細が記述される。
メインコンテンツは、z軸上の‘0’に位置することが予め決められている。付加コンテンツがメインコンテンツの前面又は背面に位置するかに対しては負の数又は正の数により表現される。それによって、コンテンツが重なる場合に、メインコンテンツと付加コンテンツとの間の空間的相関関係を記述することは可能である。
画面上の他の空間的な関係に関して、メインコンテンツのサイズは、全体解像度であると仮定することができる。付加コンテンツがメインコンテンツ上のどの位置に配置されるかが指定されてもよい。複数のコンテンツアイテムが任意にマージされるので、メインコンテンツのサイズは、横軸上の最も左側を‘0’又は‘-1’にマッピングし、最も右側を‘1’にマッピングし、縦軸上の最も上側を‘0’又は‘-1’にマッピングし、最も下側を‘1’にマッピングして、付加コンテンツがメインコンテンツ上のどの位置に配置されるかを相対座標にて記述できるようにする。
画面上のさらに他の空間的関係に関して、付加コンテンツのサイズは、全体解像度であると仮定することができる。メインコンテンツは、付加コンテンツ上のどの位置に配置されるかを相対座標にて記述できてもよい。上述したように、メインコンテンツが(-1,-1)×(1,1)のサイズであり、付加コンテンツが(-2,-2)×(2,2)のサイズであり、z軸上の位置が負数で表示される場合、メインコンテンツは、絵画用額縁のように、付加コンテンツ内に配置されるように設定されてもよい。
画面上のさらに他の空間的関係に関して、上述した空間的関係情報は、3次元(three-dimensional:3D)空間で使用される。この場合、付加コンテンツは、図形(例えば、四角形、円、球、多角形、及び他の自由形モデル)に関する情報を含み、その付加コンテンツがその図形の内部にテクスチャ(texture)として使用される。付加コンテンツは、モデルが3D空間に配置される位置に関する情報をさらに含む。さらに、付加コンテンツは、仮想カメラが3D空間に配置される位置に関する情報を含む。上述した情報を用いて3D空間に配置されるコンテンツを再生できる再生装置は、任意の時間に関連したコンテンツを表示することができる。
画面上のさらに他の空間的関係として、メインコンテンツと付加コンテンツが順次又は同時に再生される場合に発生する遷移(transition)が記述される。一般的に、付加コンテンツが一瞬突然に再生され、あるいは消滅すると、ユーザーは、それを問題として認識する。付加コンテンツは、使用可能なインエフェクト(in-effect)とアウトエフェクト(out-effect)を記述及び準備し、再生装置が適切な遷移効果と一緒に使用するように指示するとよい。望ましくは、付加コンテンツは、この遷移期間も含むことが可能である。
画面上のさらに他の空間的関係に関して、付加コンテンツが配置される位置が数字で示されないことがある。この場合、‘フル画面’、‘一部画面’、‘画面のオブジェクトの前面’がセマンティックの観点からスクリーンの前面、後面、下部、又は側面に記述される場合、再生装置は、これらを固有のユーザーインターフェース(User Interface:UI)にマッピングさせてPIP(Picture-in-Picture)及び/又はポップアップの形態で使用することができる。
<時間的関係>
メインコンテンツと付加コンテンツとの間の時間関係に関して、付加コンテンツがメインコンテンツとともに同時に再生されるか否かを判定する記述が考慮されるとよい。同時に再生されることが記述されると、付加コンテンツは、再生装置において着信と同時にメインコンテンツとともに再生される。
付加コンテンツは、メインコンテンツと同期して再生されるように記述されてもよい。例えば、ユーザーの入力によりメインコンテンツの再生が停止すると、付加コンテンツの再生も停止されてもよい。
あるいは、付加コンテンツは、メインコンテンツと非同期化に再生されることが記述されてもよい。この場合、ユーザーの入力によりメインコンテンツの再生が停止しても、付加コンテンツは、継続して再生されてもよい。同様に、付加コンテンツの再生がユーザー入力により停止しても、メインコンテンツは継続して再生されてもよい。
再生される付加コンテンツはコンテンツ製作者の意図に従うので、ユーザーにより任意に再生される付加コンテンツを選択することができない。例えば、広告の場合、コンテンツ製作者は、ユーザーが広告を再生せず、あるいは広告を飛ばす、或いは中止することによって、メインコンテンツのみを再生することを所望しない。したがって、ユーザーが付加コンテンツを避けることができないように、付加コンテンツにおいて所定の記述がされる。
再生される付加コンテンツは、任意の相対時間又は絶対時間で記述されても有効である。例えば、スリラー映画が始まった後に相手時間で数分又は数時間が経過した後、犯人に対するヒントを与え、あるいはユーザーの意見を求めるために、質問コンテンツが再生されてもよい。他の例として、非常に楽しみに待たれていた映画のようなコンテンツが特定時刻に公開されるように設定される場合、映画がその特定時刻にすべての再生装置において再生されると、サーバ負荷などによって正常な視聴を保証できない。しかしながら、映画が再生される時刻を絶対時間として指定した後に、当該映画が予め伝送される場合には、すべての視聴者が同時にコンテンツの再生を問題なく始めることが可能である。
また、付加コンテンツは、メインコンテンツとともに伝送されるが、メインコンテンツが終了した後に再生されることが記述されてもよい。後述するように、付加コンテンツに対し実行される動作、コンテンツを格納するか否かを決定する動作が記述されてもよい。格納された付加コンテンツは、メインコンテンツが終了又は中断された後に再生される。
あるいは、付加コンテンツは、メインコンテンツとともに伝送されるが、メインコンテンツの再生を中断した後に先に再生されるように記述されてもよい。例えば、付加コンテンツが緊急の更新情報である場合、付加コンテンツが先に再生され、メインコンテンツは格納され、その後付加コンテンツが終了した後にメインコンテンツが再生される。
<構造的関係>
メインコンテンツと付加コンテンツは、対等又は従属的関係を有するように記述される。対等関係を有する場合、コンテンツは、空間的関係と時間的関係を考慮して再生される。従属的関係を有する場合、付加コンテンツのトラックは、メインコンテンツのトラックに追加され、まるでメインコンテンツのように再生される。例えば、付加コンテンツは、メインコンテンツに追加されて再生される、追加ビデオトラック、追加オーディオトラック、追加サブタイトルトラック、及び追加メタデータトラックのうち少なくとも一つを含むことができる。
<セマンティックス>
メインコンテンツと付加コンテンツが再生装置に着信し、再生装置がユーザーの選択を待機し、あるいはユーザーの選択なしにコンテンツ製作者の意図によって再生される場合、本発明の実施形態では、視聴者がどのコンテンツ又はどのトラックが使用可能で、選択されるかを決定できるようにコンテンツのセマンティックを記述する。例えば、コンテンツが広告として表示され、メインコンテンツが自動車広告であり、付加コンテンツがA自動車のBモデルの広告であるように、段階的に詳細なセマンティックを有するように記述する。他の例では、ニュース速報-公益-地震-震源地のようにセマンティックスが記述されると、再生装置は、公益目的で付加コンテンツのみを受信して選択的に再生し、不特定多数の対象に警告をブロードキャストできる。
このような再生装置はビデオ+オーディオのすべてのコンテンツアイテムを再生できるが、再生装置は、セマンティックを判定し、セマンティックがスピーチとして設定されている場合には、コンテンツをスピーチに変換してスピーカーを通じてブロードキャストする。他の例では、地域別天気又は湿度情報、電力使用量情報を伝送して、ビルディング冷暖房(air conditioning)制御、電力使用量制御、及び照度制御が可能である。また、国家全体の災難に関連して、公共インフラ(トンネル、交通信号システム、跳ね橋、道路車線、ダム、バンクなど)の制御が実現されてもよい。
もう一つの例では、事故が発生したトンネル又は高速道路に進入することを防止するように、交通情報を伝送するブロードキャストを運転者に送る。このブロードキャストを受信する車両は、付加コンテンツの交通情報と位置情報とを組み合わせて、トンネルに進入することを防止し、速度を減少させ、あるいは迂回路を決定する。
<動作指示>
コンテンツ製作者は、コンテンツが格納可能であるか否か、格納しなくてもよいか、又は格納しなければならないかも指定できる。BBOXで伝送されるコンテンツは、このような記述を含み、格納されることを防ぐ。再生装置がコンテンツを任意に格納又はコピーすることを防止するために格納が禁止されるコンテンツの場合、コンテンツは、再生に必要なデータが遅延結合(late binding)できるように生成されるとよい。例えば、コンテンツチャンクのサンプルサイズ及びサンプルの数のようなMDATボックスに包含された情報は、MOOV又はMOOFボックスのような他のボックスに含まれて伝送される。このボックスが別途のチャンネルで伝送され、あるいは異なる時間帯に伝送される場合、コンテンツチャンクのみを格納する再生装置は、コンテンツを再生することができない。
コンテンツを格納するように指示された場合、再生装置は、コンテンツを格納しなければならない。しかしながら、再生装置によっては、格納されるコンテンツのサイズが使用可能な空間のサイズより大きい、あるいは付加コンテンツを格納するための空き空間のサイズは、このコンテンツのサイズより小さいことがある。このような場合のために、格納されるコンテンツの最小サイズ又は最小範囲が指定されなければならない。再生装置は、最小サイズ又は範囲によってコンテンツを予め格納し、再生中に格納されていない残りのデータを追加的にダウンロード又はストリーミングする。
上述したメインコンテンツと付加コンテンツとの間の関係を示す情報、すなわち空間的関係、時間的関係、構造的関係、セマンティックス、及び動作指示は、後述するような本発明の実施形態に適用することができる。
<MDAT拡張(extension)>
本発明の実施形態によると、異なるコンテンツアイテムは、図5の参照番号504で表すように、同一の伝送経路を通じて混合されて伝送される。異なるコンテンツアイテムの識別のために、各コンテンツアイテムは、固有の識別子(以下、“IDEN”と称する)が割り当てられる。
図5は、本発明の実施形態により、サブボックスとしてIDENボックスを有するボックスを通じて伝送されるコンテンツを示す。詳細には、図5は、本発明の実施形態によるIDENボックスを有するボックスを通じて伝送される異なるコンテンツアイテム、すなわちメインコンテンツ500と付加コンテンツ502を示す。
図5を参照すると、各IDENボックスは、そのコンテンツのID及び2個のコンテンツアイテム間の空間的関係、時間的関係、構造的関係、及びコンテンツのセマンティックに関する情報を含む。
図6は、本発明の第2の実施形態によるIDENボックス600の構造の一例を示す。
図6を参照すると、IDENボックス600は、メディアデータ及びメディアデータを再生するためのメタデータ情報を有するペイロード620を含む。IDENボックス600は、ヘッダー情報650を含み、このヘッダー情報650は、ボックスサイズフィールド602、IDENボックスIDフィールド604、バージョン情報フィールド606、フラグフィールド608、及びコンテンツIDフィールド610を含む。
ボックスサイズフィールド602は、IDENボックス600のサイズを表し、IDENボックスIDフィールド604は、IDENボックス600を識別するためのIDを示す情報を含む。バージョン情報フィールド606は、IDENボックス600のバージョン情報を含み、フラグフィールド608はオプションフィールド612に対するトグルビットを含み、図4に示したようなフラグフィールド406と同一の役割を果たす。
コンテンツIDフィールド610は、ペイロード620に含まれるメディアデータ又はメタデータに対応するコンテンツのIDを含み、オプションフィールド612は、図4に示したようなオプションフィールド410と同一である。
IDENは、動画フラグメント(MOOF)ボックス、動画フラグメントランダムアクセス(MFRA)ボックス、メディアデータ(MDAT)ボックス、フリーボックス、スキップボックス、メタデータ(META)ボックス、及び追加のメタデータコンテナ(MECO)ボックスのようなISOベースのメディアフォーマット規格に規定された最上位ボックスに含まれる。
各IDENの空間的関係、時間的関係、構造的関係、及びコンテンツのセマンティックは、上述した説明と同一である。
したがって、再生装置は、入力されたストリームからIDENボックスIDフィールド604を抽出し、該当ボックスがIDENボックスであるか否かを判定する。IDENボックスであるとき、再生装置は、コンテンツIDフィールド610により指定されるコンテンツのペイロード620に含まれたデータを処理し、複数のコンテンツが転送されると判定する。
<MOOV拡張>
本発明により改善される従来技術またはISOベースのファイルフォーマットにおいて、MOOVボックスは1回以上着信されないように制限される。しかしながら、本発明の実施形態によると、MOOVボックスが2回以上着信されるようにMOOVボックスが拡張される場合における再生装置の再生手順が提供される。さらに、本実施形態において、MOOVボックスを代替する新たなボックスであるMOV2に対する再生手順が提供される。
図7は、本発明の実施形態によるコンテンツの伝送を概略的に示す。詳細には、図7は、本発明の実施形態によるメインコンテンツ700の伝送中に伝送される付加コンテンツ702を示す。
図8は、ISOベースのメディアファイルフォーマットによる一般的なコンテンツの構造を示す。
図8を参照すると、MOOVボックス802で記述されるトラック拡張(track extends:trex)1ボックス802aとtrex2ボックス802bは、MOOFボックス804,806を使用するフラグメント構成を通じて追加される。MOOVボックス802において、trex1ボックス802aは、MOOFボックス804に含まれたトラックフラグメント(track fragment:TRAF)1ボックス804aを指定し、trex2ボックス802bは、MOOFボックス806に含まれたTRAF2ボックス806aを指定する。TRAF1ボックス804aは、参照番号810で表すように、メディアデータが次のMDATボックスに位置する位置を指定する。また、TRAF2ボックス806aは、参照番号820で表すように、次のMDATボックスにメディアデータが配置される位置を指定する。しかしながら、MOOVが一回しか存在できない制限があるため、新たなトラック又はtrex3ボックスの形態で付加コンテンツが伝送されることは不可能である。
図9は、本発明の実施形態により、一つのファイルにMOOVボックスが一回以上存在する場合に、コンテンツ提供者と再生装置の動作を示す。
図9を参照すると、参照番号900は、本発明の実施形態によるISOベースのメディアファイルフォーマットのファイル構造を示す。2個のMOOVボックス902,912がファイルに存在することがわかる。このように、本発明の実施形態によると、新たなコンテンツを伝送するために、新たなコンテンツの情報を含むMOOVボックスが従来のファイル構造に追加される。
より詳細に説明すると、再生装置は、MOOVボックス902に含まれたtrex1ボックス902aとtrex2ボックス902bをパーシングし、パーシングされたtrex1ボックス902aとtrex2ボックス902bが各々指定するMOOFボックス904のtraf1ボックス904aとMOOFボックス908のtraf2ボックス908aを各々参照する。さらに、再生装置は、traf1ボックス904aとtraf2ボックス908aの情報を用いて、MDATボックス906,910に含まれたメディアデータを各々パーシングする。再生装置は、新たなMOOVボックス912が存在すると、以前のMOOVボックス902に存在しない新たに追加されたtrex3ボックス912aをパーシングし、trex3ボックス912aが参照するMOOFボックス914のtraf3ボックス914aに含まれた情報によってMDATボックス916に存在するメディアデータを再生する。
図9を参照すると、MDATボックス906,910,916とMOOFボックス904,908,914は、各々対をなすことがわかる。また、MOOVボックス902は、MOOFボックス904とMDATボックス906の対及びMOOFボックス908とMDATボックス910の対に対応し、MOOVボックス912は、MOOVボックス902に含まれるデータと異なるデータを有することがわかる。
図9に示すメディアファイルフォーマットのデータを記録するコンピュータ読み取り可能な記録媒体内の記録装置は、記録媒体内に、複数のコンテンツの中で第1のコンテンツ700に対応する少なくとも一つの第1の‘mdat’ボックス906(910)の対に対応する第1の‘moov’ボックス902と、第1の‘moof’ボックス904(908)を記録し、複数のコンテンツの中で第1のコンテンツ700を除いた第2のコンテンツ702に対応する少なくとも一つの第2の‘mdat’ボックス916の対に対応する第2の‘moov’ボックス912と第2の‘moof’ボックス914を記録し、第1の‘moov’ボックス902に含まれる‘moov’データと異なる‘moov’データを有する。
図10は、本発明の他の実施形態において、MOOVボックスとしての機能を果たす類似したボックスMOV2 1010を示し、MOOVボックスなしに以降の動作が可能であることを説明するためのものである。
ISOベースのメディアファイルフォーマットに一つのMOOVボックスのみが設けられるとするならば、図9のように、2個のMOOVボックスを設けることができない。したがって、図10では、他の実施形態として、付加コンテンツのメディアデータを有するMDATボックス916を参照する新たなtrexボックス‘trex3’912aを含むMOOVボックスには、新たな名前‘MOV2’ボックス1010が割り当てられる。これは、本発明がMOOVボックス以外の他のボックスにも適用可能であることを示す。
本発明の実施形態により提案される方法は、MOOVボックス912を用いて第3のトラックtrakの形態で付加コンテンツを提供する。‘trak’ボックスは図9及び図10に明示的に示されていないが、‘trak’ボックスは、ISOベースのメディアファイルフォーマットに従って、図9のMOOVボックス902,912と、図10の付加コンテンツ702に対するMOOVボックスとしての役割を果たすMOV2ボックス1010とに含まれる。再生装置は、以前に受信したMOOVボックス902と新たに受信したMOOVボックス912との間の差を比較によって検出し、追加又は削除された任意のトラックが存在する場合、その結果に従って再生環境の設定を変更する。
図9及び図10に示されていないが、本発明の実施形態によると、新たなMOOVボックス912又はMOV2ボックス1010に含まれるボックスは、ISOベースのメディアフォーマットで規定されたトラックtrakボックスとそのサブボックス、又は動画拡張(mvex)ボックスとそのサブボックスを含むことができる。
MOOVボックスを一回以上使用することは、複数のコンテンツアイテムだけでなく、単一コンテンツの伝送にも有用である。例えば、従来のデジタルブロードキャストでは、チャンネルが変更されると、プログラムリストに該当する情報が周期的に伝送され、この情報を用いてチャンネル切り替えが遂行される。代表的な例として、MPEG-2TSが使用される場合に伝送されるPMT(Program Map Table)情報を考えるとよい。しかしながら、ISOベースのファイルフォーマットをブロードキャストコンテンツの伝送に使用できるようにするために、コンテンツの伝送中にユーザーがチャンネルを切り替えて視聴しようとする再生装置に対してコンテンツ構成及びデコーダ構成に関する情報を周期的に提供するボックスは、存在しない。したがって、ブロードキャストのために周期的に反復されるボックスが必要とされ、これが複数のMOOVボックスを用いて達成されるとよい。
図11は、本発明の実施形態による、再生装置がブロードキャスト受信を遂行する手順を示す。
図11を参照すると、要求時にブロードキャストコンテンツを受信できる再生装置は、ステップ1100において、チャンネルにおいて伝送中である放送番組を示すガイド情報、例えばEPG(Electronic Program Guide)情報とRSS(Really Simple Syndication)情報のようなメタデータ情報を受信する。ステップ1102において、再生装置は、伝送中であるコンテンツを受信するためのURL(Uniform Resource Location)又は他のメタデータ、例えば最も近い再生範囲のMOOVボックスが配置される位置を判定する。
ステップ1104において、再生装置は、伝送中であるコンテンツを受信するために、URLに対応するコンテンツの伝送を要求しつつ、最も近い再生範囲のMOOVボックスから伝送を開始できるように要求範囲を指定する。ステップ1106において、再生装置は、MOOVボックスから読み取られるコンテンツを再生する。
ステップ1108において、再生装置は、新たなMOOVボックスを受信すると、既存のMOOVボックスと受信された新たなMOOVボックスとを比較して変更又は追加されたトラックが存在するか否かを判定し、その判定結果に従って再生のための設定を変更する。
図12は、本発明の実施形態による再生装置がブロードキャスト受信を遂行する他の手順を示す。
図12を参照すると、ステップ1200において、マルチキャストブロードキャストコンテンツを受信できる再生装置は、チャンネルで伝送中であるブロードキャストコンテンツをパーシングし、MOOVボックスが現れるまで待機する。
ステップ1202において、MOOVボックスが現れる場合、再生装置は、MOOVボックスからコンテンツを読み取って再生する。
ステップ1204において、新たなMOOVボックスが受信されると、再生装置は、既存のMOOVボックスと受信された新たなMOOVボックスとを比較して変更又は追加されたトラックが存在するか否かを判定し、その結果に従って再生のための設定を変更する。
図13は、本発明の実施形態によるメディアファイルを記録する方法を示す。
図13を参照すると、記録装置は、ステップ1300において、生成されるメディアファイルがメインコンテンツであるか否かを判定する。メインコンテンツである場合、ステップ1302において、記録装置は、メインコンテンツを生成する。記録装置は、ステップ1304において、生成されたメインコンテンツをISOベースのメディアファイルフォーマットに規定されたボックスに含め、ステップ1310において、付加コンテンツが存在するか否かを判定する。ステップ1310において付加コンテンツが存在しない場合には、記録装置は、ステップ1314においてこのボックスを符号化して格納する。
一方、ステップ1310において付加コンテンツが存在する場合、記録装置は、ステップ1312において、BBOXに付加コンテンツを有するボックスを含める。
ステップ1300において、生成されるメディアファイルがメインコンテンツでない場合、記録装置は、ステップ1306において付加コンテンツを生成し、ステップ1308において生成された付加コンテンツをISOベースのメディアファイルフォーマットに規定されたボックスに含め、ステップ1312において付加コンテンツを有するボックスをBBOXに含め、ステップ1314においてこのボックスを格納する。
図14は、本発明の実施形態によるメディアファイルを記録する方法を示す。
図14を参照すると、ステップ1400において、記録装置は、該当コンテンツがメインコンテンツであるか否かを判定する。メインコンテンツである場合には、記録装置は、ステップ1402においてメインコンテンツを生成し、ステップ1404において、生成されたメインコンテンツをISOベースのメディアファイルフォーマットに規定されたボックスに含める。ステップ1406において付加コンテンツが存在しない場合、記録装置は、ステップ1416において、共通ボックスを符号化して格納する。一方、ステップ1406において付加コンテンツが存在する場合、記録装置は、ステップ1404において生成されたボックスのペイロードにサブボックス(ステップ1408)としてID#1を有するIDENボックスを挿入した後に、ステップ1416においてこのボックスを符号化して格納する。
ステップ1400において該当コンテンツがメインコンテンツでない場合、記録装置は、ステップ1410において付加コンテンツを生成し、ステップ1412において生成された付加コンテンツをISOベースのメディアファイルフォーマットに規定されたボックスに含め、ステップ1414において生成されたボックスのペイロードにサブボックスとしてID#2を有するIDENボックスを挿入し、その後に、ステップ1416においてこのボックスを符号化して格納する。
図15は、本発明の一実施形態によるメディアファイルを記録する方法を示す。
図15を参照すると、記録装置は、ステップ1500においてMOOVボックス及びそのサブボックスを生成し、ステップ1502においてMOOFボックス及びサブボックスを生成する。ステップ1504において、記録装置は、メディアデータファイルを符号化した後にMDATボックスを生成する。
記録装置は、ステップ1506において、コンテンツ生成が完了したか否かを判定し、コンテンツ生成が完了した場合には上記方法を終了する。しかしながら、コンテンツ生成が完了しない場合には、記録装置は、ステップ1508において、新たなコンテンツが追加されるか否かを判定する。新たなコンテンツが追加される場合、上記方法はステップ1500に戻る。新たなコンテンツが追加されない場合、上記方法はステップ1502に戻る。
図16は、本発明の一実施形態によるメディアファイルを記録する方法を示す。
図16を参照すると、記録装置は、ステップ1600においてMOOVボックス及びそのサブボックスを生成し、ステップ1602においてMOOFボックス及びサブボックスを生成する。ステップ1604において、記録装置は、メディアデータファイルを符号化した後にMDATボックスを生成する。
記録装置は、ステップ1606において、コンテンツ生成が完了したか否かを判定し、コンテンツ生成が完了した場合には上記方法を終了する。しかしながら、コンテンツ生成が完了しない場合には、ステップ1608において、記録装置は、新たなコンテンツが追加されるか否かを判定する。新たなコンテンツが追加される場合、記録装置は、ステップ1610において、MOV2ボックス及びそのサブボックスを生成した後、上記方法はステップ1602に戻る。すなわち、ステップ1608において新たなコンテンツが追加される場合、記録装置は、ステップ1610において、MOOVボックスの代わりに図10で定義されたMOV2ボックスとそのサブボックスを生成し、ステップ1602に進む。新たなコンテンツが追加されない場合には、上記方法はステップ1602に戻る。
図17は、本発明の一実施形態によるメディアファイルを再生する方法を示す。
図17を参照すると、再生装置は、ステップ1700において入力されたストリームからボックスのヘッダーをパーシングし、ステップ1702においてボックスがBBOXであるか否かを判定する。ボックスがBBOXでない場合、再生装置は、ステップ1704において、ボックスのペイロードに含まれた情報をパーシングし、ステップ1706において、パーシングされた情報を処理し、このパーシングされた情報に従ってオーディオ/ビデオ(A/V)復号化してメディアデータを再生する。
しかしながら、ステップ1702においてボックスがBBOXである場合、再生装置は、ステップ1708において付加コンテンツの存在を確認し、ステップ1710においてボックスのヘッダーをパーシングする。再生装置は、ステップ1712においてボックスのペイロードに含まれた情報をパーシングした後、ステップ1714において、パーシングされた情報を処理し、そのパーシングされた情報に従ってA/V復号化してメディアデータを再生する。
図18は、本発明の一実施形態によるメディアファイルを再生する方法を示す。
図18を参照すると、再生装置は、ステップ1800において入力されたストリームからボックスのヘッダーをパーシングし、ステップ1802においてボックスのペイロードに含まれたサブボックスをパーシングする。ステップ1804において、再生装置は、サブボックスにIDENボックスが存在するか否かを確認する。IDENボックスが存在しない場合、再生装置は、ステップ1806において、パーシングされた情報を処理し、このパーシングされた情報に従ってA/V復号化してメディアデータを再生する。
しかしながら、サブボックスがIDENボックスを含む場合、再生装置は、ステップ1808において付加コンテンツの存在を確認し、ステップ1810においてボックスのペイロードに含まれた情報をパーシングする。再生装置は、ステップ1812において、パーシングされた情報を処理し、このパーシングされた情報に従ってA/V復号化してメディアデータを再生する。
図19は、本発明の実施形態によるメディアファイルを再生する方法を示す。
図19を参照すると、再生装置は、ステップ1900において入力されたストリームからボックスのヘッダーをパーシングし、ステップ1902においてパーシングされた情報に基づいてボックスがMOOVボックスであるか否かを判定する。ボックスがMOOVボックスでない場合、再生装置は、ステップ1904において、ペイロードに含まれた情報をパーシングし、ステップ1906において、パーシングされた情報を処理し、そのパーシングされた情報に従ってA/V復号化してメディアデータを再生する。
しかしながら、ボックスがMOOVボックスである場合、再生装置は、ステップ1908において、MOOVボックスが2番目のMOOVボックスであるか、あるいはそれ以後のMOOVボックスであるかを判定する。2番目又は以後のMOOVボックスでない場合、その方法はステップ1904に進む。一方、MOOVボックスが2番目又は以後のMOOVボックスである場合、再生装置は、メインコンテンツでなく付加コンテンツのMOOVボックスであると確認し、ステップ1910においてペイロードに含まれた情報をパーシングする。ステップ1912において、再生装置は、コンテンツのトラック情報を更新した後にステップ1906に進む。
図20は、本発明の実施形態によるメディアファイルを再生する方法を示す。
図20を参照すると、再生装置は、ステップ2000において入力されたストリームからボックスのヘッダーをパーシングし、ステップ2002においてパーシングしたヘッダーの名称がMOV2ボックスであるか否かを判定する。パーシングされたヘッダーの名称がMOV2ボックスでない場合、再生装置は、ステップ2004においてペイロードに含まれた情報をパーシングし、ステップ2006において、パーシングされた情報を処理し、このパーシングされた情報に従ってA/V復号化してメディアデータを再生する。
一方、ステップ2002においてパーシングされたヘッダーの名称がMOV2ボックスである場合、再生装置は、ステップ2008においてペイロードに含まれた情報をパーシングし、ステップ2010においてコンテンツがメインコンテンツでなく付加コンテンツであると判定されると、コンテンツのトラック構成情報を更新する。
図21は、本発明の一実施形態による記録装置2100を示すブロック構成図である。
図21を参照すると、記録装置2100は、上述した本発明の実施形態によるISOベースのメディアファイルを生成して格納部2104に格納する生成部2102を含む。
より詳細には、生成部2102は、異なる複数のコンテンツアイテム各々に対するメディアデータを含むボックスと、メディアデータを再生するためのメタデータ情報を含むボックスとを生成し、複数のコンテンツアイテムのうち少なくとも一つの第2のコンテンツを識別する識別情報を、第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスとに挿入する。格納部2104は、生成部2102により生成されるボックスを格納する。
また、生成部2102は、 複数のコンテンツの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスを生成し、複数のコンテンツアイテムの中で第2のコンテンツに対応する少なくとも一つの第2のメディアデータ(mdat)ボックスと第2の動画フラグメント(moof)ボックスとの対に対応し、第1の動画メタデータ(moov)ボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータボックスを生成する。格納部2104は、生成部1202により生成された第1及び第2のメディアデータ(mdat)ボックス、第1及び第2の動画フラグメント(moof)ボックス、及び第1及び第2の動画メタデータ(moov)ボックスを格納する。
図22は、本発明の一実施形態による再生装置2200を示すブロック構成図である。
図22を参照すると、再生装置2200は、メディアファイルを受信して処理部2204に出力する入力部2202を含む。より詳細に説明すると、入力部2202は、異なる複数のコンテンツ各々のメディアデータを含むボックスとメディアデータを再生するために必要なメタデータ情報を含むボックスを受信する。
上述した本発明の実施形態により、処理部2204は、入力されたボックスをパーシングし、複数のコンテンツアイテムの中から少なくとも一つの第2のコンテンツを識別する識別情報をパーシングし、識別情報に従って第2のコンテンツのメディアデータと第2のコンテンツのメディアデータを再生するためのメタデータ情報をパーシングし、パーシングされたメタデータ情報を用いてメディアデータを表示するディスプレイ部2206を制御する。
加えて、処理部2204は、複数のコンテンツアイテムの中で第1のコンテンツに対応する少なくとも一つの第1のメディアデータ(mdat)ボックスと第1の動画フラグメント(moof)ボックスとの対に対応する第1の動画メタデータ(moov)ボックスをパーシングし、複数のコンテンツアイテムの中から第2のコンテンツに対応する少なくとも一つの第2のメディアデータ(mdat)ボックスと第2の動画フラグメント(moof)ボックスとの対に対応し、第1の動画メタデータ(moov)ボックスに含まれる動画ヘッダーデータと異なる動画ヘッダーデータを有する第2の動画メタデータ(mdat)ボックスをパーシングする。ディスプレイ部2206は、処理部2204によりパーシングされたメディアデータを表示する。
プログラムが実行される場合、本発明によるコンピュータ読み取り可能な記録媒体は、第1のコンテンツのメディアデータを含むボックスを記録するステップと、第1のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを記録するステップと、第2のコンテンツのメディアデータを含むボックスを記録するステップと、第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスを記録するステップとを有する装置を制御する。第2のコンテンツのメディアデータを含むボックスと第2のコンテンツのメディアデータを再生するためのメタデータ情報を含むボックスは、各々第2のコンテンツのための識別情報を含む。
以上、本発明を具体的な実施形態に関して図示及び説明したが、添付した特許請求の範囲により規定されるような本発明の精神及び範囲を外れることなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。