JP6416698B2 - 送信装置および受信装置、ならびにプログラム - Google Patents

Description

本発明は、送信装置および受信装置、ならびにそれらのプログラムに関する。特に、テレビ放送の、送信装置、受信装置、プログラムに関する。

テレビ放送における字幕テキスト等のデータは、テキストそのものと、そのテキストを視聴者側で提示するタイミングの情報とを含むものである。このような提示タイミングが指定されたテキストデータを、タイムドテキスト（timed text）、またはタイムドテキストデータと呼ぶ。このような提示タイミングに関する指定を伴うテキストの表現方法の一つとして、ＴＴＭＬ（Timed Text Markup Language，タイムドテキストマークアップ言語）がある。ＴＴＭＬを用いることにより、テキストの表示に関して、表示タイミングや、表示レイアウト属性（表示位置など）を指定して記述することができる。デジタルテレビ放送における、字幕テキストやその他のスーパーインポーズなどの情報を伝送するためにこのＴＴＭＬを利用することも検討されている。なお、字幕テキストは、例えば、放送コンテンツにおける音声発話の内容を、音声発話と同じ言語やあるいは異なる言語で表示するために用いられる。

非特許文献１には、ＴＴＭＬについての規定が記載されている。その第８章にはスタイリング（文字のフォントを含む）について記載されている。また第９章にはレイアウトについて記載されている。また第１０章にはタイミングについて記載されている。

「Timed Text Markup Language 1 (TTML1) (Second Edition) W3C Recommendation 24 September 2013」，［online］，２０１３年９月２４日，World Wide Web Consortium（Ｗ３Ｃ），［平成２６年（西暦２０１４年）５月２５日検索］，インターネット＜URL: http://www.w3.org/TR/ttaf1-dfxp/ ＞

非特許文献１は、ＴＴＭＬデータそのものに関する規約を定めるものであるため、データ形式について記載されているが、そのデータを伝送する手順等については記載されていない。従来技術では、映像コンテンツの字幕等のタイムドテキストをＴＴＭＬで記述して伝送する場合には、コンテンツ全体についてのタイムドテキスト（例えば、１時間の映像コンテンツであれば、１時間分の映像に対応するタイムドテキスト）を予め伝送していた。

しかしながら、そのような従来技術による方法では、受信装置側で蓄積しなければならないタイムドテキストのデータ量が膨大になり、必要となるメモリ等の資源が多くなってしまうという問題がある。また、コンテンツ全体についてのタイムドテキストを予め伝送するために、例えば、番組開始前に充分な時間の余裕をもってタイムドテキストの伝送を行わなければならないという問題がある。また、放送の場合には、番組の途中から受信装置の電源がオンされる場合もあり、そのような場合にもタイムドテキストを遅滞なく伝送することは技術的な困難を伴う。

本発明は、上記の課題認識に基づいて行なわれたものであり、放送等において、適切なタイミングでタイムドテキストを伝送することのできる、送信装置および受信装置、ならびにそれらのプログラムを提供するものである。

また、本発明のさらなる課題は、上記のタイムドテキストの伝送において、画像、音声、ウェブフォントなどを組み合わせた字幕データあるいは文字スーパーのデータを確実に表示させるための、送信装置および受信装置、ならびにそれらのプログラムを提供することである。

［１］上記の課題を解決するため、本発明の一態様による送信装置は、提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後の前記タイムドテキストデータをＭＭＴ伝送方式における一つのメディアプロセッシングユニットに格納し、前記提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成するテキスト設定部と、前記テキスト設定部が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する多重化部と、前記多重化部によって多重化して得られた配信データを送出する送信部と、を具備することを特徴とする。

［２］また、本発明の一態様は、上記の送信装置において、前記テキスト設定部は、分割後の前記タイムドテキストデータと、当該分割後の前記タイムドテキストデータから参照されるリソースファイルとの各々を、同一のメディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納することによって前記テキストアセットを生成する、ことを特徴とする。

［３］また、本発明の一態様は、上記の送信装置において、前記テキスト設定部は、あるメディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、前記テキストアセットを生成する、ことを特徴とする。

［４］また、本発明の一態様は、上記の送信装置において、前記テキスト設定部は、あるメディアプロセッシングユニット内における各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、前記テキストアセットを生成する、ことを特徴とする。

［５］そして、本発明の一態様による受信装置は、外部から配信データを含む信号を受信する受信部と、前記受信部が受信した前記配信データから、ＭＭＴ伝送方式における一連のメディアプロセッシングユニットとして成るテキストアセットを分離する分離部と、
前記分離部によって分離された前記テキストアセットから前記メディアプロセッシングユニットを順次抽出し、前記メディアプロセッシングユニットに含まれるタイムドテキストデータを抽出するテキスト処理部と、前記テキスト処理部によって抽出された前記タイムドテキストデータから提示タイミングの情報を取得するとともに、前記タイムドテキストデータに含まれるテキストを前記提示タイミングの情報にしたがうタイミングで提示するよう制御する提示制御部と、を具備することを特徴とする。

［６］また、本発明の一態様は、上記の受信装置において、前記テキストアセットは、複数の提示タイミンググループに分割された結果として得られた前記提示タイミンググループごとのメディアプロセッシングユニットから成り、前記メディアプロセッシングユニットは、分割後の前記タイムドテキストデータと、当該分割後の前記タイムドテキストデータから参照されるリソースファイルとの各々を、当該メディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納して成るものであり、前記テキスト処理部は、前記メディアプロセッシングユニット内の前記タイムドテキストデータおよび前記リソースファイルを抽出し、前記提示制御部は、前記テキスト処理部によって抽出された前記タイムドテキストと前記リソースファイルに基づいて提示用のレイアウトを生成し、前記提示タイミングの情報にしたがうタイミングで提示する、ことを特徴とする。

［７］また、本発明の一態様は、上記の受信装置において、前記テキスト処理部が抽出した前記リソースファイルを、当該リソースファイルが属するメディアプロッシングユニットの処理の間、一時的に蓄積するとともに、当該メディアプロッシングユニットの処理の終了後には一時的に蓄積した前記リソースファイルを消去するリソース一時蓄積部、をさらに具備することを特徴とする。

［８］また、本発明の一態様は、上記の受信装置において、前記テキスト処理部が前記リソースファイルのうちの少なくとも一つの抽出に失敗したときには、前記提示制御部は、前記タイムドテキストと、抽出に失敗しなかった前記リソースファイルとに基づいて、提示用のレイアウトを生成する、ことを特徴とする。

［９］また、本発明の一態様は、上記の受信装置において、前記テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを格納しており、前記テキスト処理部は、前記メディアプロセッシングユニットを処理する際に、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数と、当該メディアプロセッシングユニット内における受信済みのメディアフラグメントユニットの数とに基づいて、当該メディアプロセッシングユニットにおける全てのメディアフラグメントユニットの受信を完了したか否かを判定し、前記提示制御部は、前記テキスト処理部による判定の結果に基づき、当該メディアプロセッシングユニット内の全てのメディアフラグメントユニットの受信が完了している場合に提示用のレイアウトを生成する、ことを特徴とする。

［１０］また、本発明の一態様は、上記の受信装置において、前記テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを格納しているものであり、前記テキスト処理部は、前記メディアプロセッシングユニットにおける前記所定のメディアフラグメントユニットを取得した際に、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについてメディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを参照することによって、当該メディアプロセッシングユニットに含まれる全てのメディアフラグメントユニットに含まれるファイルを処理するために必要な計算資源を確保する処理を行う、ことを特徴とする。

［１１］また、本発明の一態様は、提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後の前記タイムドテキストデータをＭＭＴ伝送方式における一つのメディアプロセッシングユニットに格納し、前記提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成するテキスト設定手段、前記テキスト設定手段が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する多重化手段、としてコンピューターを機能させるプログラムである。

［１２］また、本発明の一態様は、受信手段が受信した配信データから、ＭＭＴ伝送方式における一連のメディアプロセッシングユニットとして成るテキストアセットを分離する分離手段、前記分離手段によって分離された前記テキストアセットから前記メディアプロセッシングユニットを順次抽出し、前記メディアプロセッシングユニットに含まれるタイムドテキストデータを抽出するテキスト処理手段、前記テキスト処理手段によって抽出された前記タイムドテキストデータから提示タイミングの情報を取得するとともに、前記タイムドテキストデータに含まれるテキストを前記提示タイミングの情報にしたがうタイミングで提示するよう制御する提示制御手段、としてコンピューターを機能させるプログラムである。

本発明によれば、映像等のコンテンツに付随するタイムドテキストを、提示タイミングのグループごとに分割して、適切なタイミングで伝送することができる。つまり、コンテンツ全体に対応するタイムドテキストをまとめて予め伝送する必要がない。
また、タイムドテキストから参照されるリソースファイル等を確実に伝送し、提示することができる。

本発明の実施形態による送信装置および受信装置の各々の概略機能構成を示すブロック図である。 同実施形態による送信装置から受信装置へ伝送される、字幕等のタイムドテキストを伝送するためのデータ構成（アセットの構成）を示す概略図である。 同実施形態による送信装置から受信装置へ伝送される、字幕伝送アセット内の各ＭＦＵにおける、字幕サンプルヘッダーのデータ構成を示す概略図である。 同実施形態による字幕サンプルヘッダーにおける、データタイプの値とその意味を示す概略図である。

次に、図面を参照しながら、本発明の実施形態について説明する。
図１は、本実施形態における送信装置および受信装置の各々の概略機能構成を示すブロック図である。なお、テレビ放送システムにおいて、実際には受信装置２は多数存在するが、本図では便宜上１台の受信装置のみを示している。
図示するように、送信装置１は、送信部１１と、多重化部１２と、映像・音声設定部１４と、テキスト設定部１５とを含んで構成される。また、受信装置２は、受信部２１と、分離部２２と、映像・音声処理部２４と、テキスト処理部２５と、リソース一時蓄積部２６と、テキスト提示制御部２７と、合成表示・出力部２８とを含んで構成される。
なお、送信装置１および受信装置２は、テレビ放送の信号をそれぞれ送受信するものである。テレビ放送の信号の送受信のためには、テキストアセットだけではなく、映像や音声や制御情報などの処理のための機能を各装置は有するが、ここでは、本発明に直接関係する機能のみについて説明し、その他の機能については説明を省略する。

まず送信装置１内の各部の機能から説明する。
送信部１１は、多重化部１２によって多重化して得られた配信データを変調して放送信号として送出するものである。送信部１１は、電波（地上波や放送衛星波）あるいはテレビ用ケーブルにより、放送信号を送信する。
多重化部１２は、テキスト設定部１５が生成したテキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する。多重化部１２は、ＭＭＴ（MPEG Media Transport）伝送方式による多重化を行う。具体的には、多重化部１２は、テキストアセットとともに、映像・音声設定部１４によって生成される映像アセットや音声アセットを多重化し、配信データを生成する。ここで、テキストアセットとは、字幕アセットや文字スーパーアセットである。
映像・音声設定部１４は、供給される映像信号や音声信号を取得し、符号化し、それぞれ、映像アセットや音声アセットのコンテンツデータとして生成する。映像や音声はストリーム型のデータであり、これらを総称してストリーム型コンテンツデータと呼ぶ。

テキスト設定部１５は、提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後のタイムドテキストデータをＭＭＴ伝送方式における一つのメディアプロセッシングユニットに格納し、提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成する。

ここで、テキストアセットとは、字幕アセットあるいは文字スーパーアセットである。タイムドテキストデータは、受信機側の提示のタイミング（年月日、時分秒など）の情報を含んでいる。提示タイミンググループとは、１つまたはそれ以上の提示タイミングの集合である。提示タイミンググループが複数の提示タイミングを含むとき、それらは、隣接するタイミングの一群である。
なお、テキストアセットの内部のデータ構成については後で図面を参照しながら詳述する。

テキスト設定部１５は、また、分割後のタイムドテキストデータと、当該分割後のタイムドテキストデータから参照されるリソースファイルとの各々を、同一のメディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納することによってテキストアセットを生成する。

テキスト設定部１５は、また、あるメディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、テキストアセットを生成する。具体的には、テキスト設定部１５は、メディアプロセッシングユニット内の先頭のメディアフラグメントユニットにおけるヘッダー部分に、その総数を表すデータを格納する。

テキスト設定部１５は、また、あるメディアプロセッシングユニット内における各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、テキストアセットを生成する。具体的には、テキスト設定部１５は、メディアプロセッシングユニット内の先頭のメディアフラグメントユニットにおけるヘッダー部分に、後続する各メディアフラグメントユニットが格納するファイルのデータタイプとデータサイズ（バイト数）の情報を格納する。この情報は、テキストアセットを受信する受信装置側では、すべてのメディアフラグメントユニットのデータの処理のためのヒント情報となり得る。つまり、受信装置側ではヒント情報に基づいて、リソースファイルを処理するための計算資源（受信機側における、メモリやコンピューター処理の資源）を準備することができる。
なお、テキスト設定部１５は、ヒント情報の格納を省略するようにしても良い。

送信装置１から送出された放送信号は、電波（地上波や放送衛星波）により、あるいはケーブルにより、多数の受信装置２に伝送される。

次に、受信装置２内の各部の機能について説明する。
受信部２１は、外部から放送信号を受信する。この放送信号には、送信装置１によって送信された配信データが含まれている。受信部２１は、受信した放送信号を復調する。
分離部２２は、受信部２１が受信した配信データから、ＭＭＴ伝送方式における一連のメディアプロセッシングユニットとして成るテキストアセットを分離する。また、分離部２２は、配信データから、映像アセットや音声アセットなどを分離する。
映像・音声処理部２４は、分離部２２によって分離された映像アセットや音声アセットをそれぞれ復号し、映像信号および音声信号を生成する。映像・音声処理部２４は、同時に、映像および音声の提示タイミングに関する情報を、それぞれ、映像アセットおよび音声アセットから抽出する。

テキスト処理部２５は、分離部２２によって分離されたテキストアセットからメディアプロセッシングユニットを順次抽出し、メディアプロセッシングユニットに含まれるタイムドテキストデータを抽出する。
テキスト提示制御部２７は、テキスト処理部２５によって抽出されたタイムドテキストデータから提示タイミングの情報を取得するとともに、そのタイムドテキストデータに含まれるテキストを指定された提示タイミングで提示するよう制御する。なお、テキスト提示制御部２７は、テキストを、指示されたレイアウトに従って配置する。テキストアセットは、後述するように、画像のリソースファイルや、音声のリソースファイルや、フォントファイルを含んでいる場合があり、テキスト提示制御部２７は、これらの各リソースをも統合してレイアウトする。
なお、受信機側の表示画面において、字幕プレーンと文字スーパープレーンとは別のプレーンである。したがって、テキスト提示制御部２７は、字幕アセットとして取得したテキストについては字幕プレーンにおいて提示するようにし、文字スーパーアセットとして取得したテキストについては文字スーパープレーンにおいて提示するようにする。つまり、テキスト提示制御部２７は、これら両プレーンを互いに独立に制御する。
合成表示・出力部２８は、テキスト提示制御部２７によって出力される字幕プレーンおよび文字スーパープレーンと、映像・音声処理部２４から出力される映像プレーンとを合成して画面を表示するとともに、映像・音声処理部２４から渡される音声を出力する。

なお、テキストアセットは、複数の提示タイミンググループに分割された結果として得られた提示タイミンググループごとのメディアプロセッシングユニットから成る。また、メディアプロセッシングユニットは、分割後のタイムドテキストデータと、当該分割後のタイムドテキストデータから参照されるリソースファイルとの各々を、当該メディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納して成るものである。
テキスト処理部２５は、メディアプロセッシングユニット内のタイムドテキストデータおよび単数または複数のリソースファイルを抽出する。なお、テキスト処理部２５は、抽出したリソースファイルをリソース一時蓄積部２６に一時的に記憶させる。
リソース一時蓄積部２６は、抽出されたリソースファイルを一時的に記憶する。つまり、リソース一時蓄積部２６は、いわゆるキャッシュメモリの役割を果たす。本実施形態では、リソースファイルが参照されるのは１つのメディアプロセッシングユニットの範囲内においてのみである。したがって、あるメディアプロセッシングユニットの処理が完了して、次の新たなメディアプロセッシングユニットの受信および処理に移る際には、リソース一時蓄積部２６の内容は一旦消去される。つまり、あるメディアプロセッシングユニットから次のメディアプロセッシングユニットの処理に移る段階で、リソース一時蓄積部２６の内容を毎回クリアすることができる。即ち、本実施形態が複数のメディアプロセッシングユニット（各々は提示タイミングのグループに対応）に分割してタイムドテキストを伝送する方式をとっているため、リソースファイルを蓄積するメモリの容量が最小限で済む。
つまり、リソース一時蓄積部２６は、テキスト処理部２５が抽出したリソースファイルを、当該リソースファイルが属するメディアプロッシングユニットの処理の間、一時的に蓄積するとともに、当該メディアプロッシングユニットの処理の終了後には一時的に蓄積したリソースファイルを消去するものである。
そして、テキスト提示制御部２７は、テキスト処理部２５によって抽出されたタイムドテキストとリソースファイルに基づいて提示用のレイアウトを生成し、提示タイミングの情報にしたがうタイミングで提示するよう制御する。

テキスト処理部２５がリソースファイルのうちの少なくとも一つの抽出に失敗したときには、テキスト提示制御部２７は、タイムドテキストと、抽出に失敗しなかったリソースファイルとに基づいて、提示用のレイアウトを生成する。
つまり、伝送におけるメディアフラグメントユニットの単位と、論理的なファイル（タイムドテキストデータのファイルおよび画像や音声やフォントなどのリソースファイル）の単位とを一致させる。これにより、仮に一部のメディアフラグメントユニットの受信に失敗した場合にも、他のメディアフラグメントユニット（即ち他の論理的なファイル）への影響を及ぼすことなく、字幕や文字スーパーの提示を行うことができるようになる。

また、テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを格納している。
テキスト処理部２５は、メディアプロセッシングユニットを処理する際に、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数と、当該メディアプロセッシングユニット内における受信済みのメディアフラグメントユニットの数とに基づいて、当該メディアプロセッシングユニットにおける全てのメディアフラグメントユニットの受信を完了したか否かを判定する。なお、メディアプロセッシングユニット内におけるメディアフラグメントユニットの連番を付与して、メディアフラグメントユニット内に格納することにより、テキスト処理部２５は、受信したメディアフラグメントユニットが、当該メディアプロセッシングユニットにおける何番目のものであるかを知ることができる。
テキスト提示制御部２７は、テキスト処理部２５による判定の結果に基づき、当該メディアプロセッシングユニット内の全てのメディアフラグメントユニットの受信が完了している場合に提示用のレイアウトの生成を開始することができる。

また、テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを格納しているものである。
テキスト処理部２５は、メディアプロセッシングユニットにおける所定のメディアフラグメントユニットを取得した際に、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについてメディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを参照することによって、当該メディアプロセッシングユニットに含まれる全てのメディアフラグメントユニットに含まれるファイルを処理するために必要な計算資源（メモリやＣＰＵ）を確保する処理を行う。
具体的には、メディアプロセッシングユニット内の先頭のメディアフラグメントユニットのヘッダー部分に後続する各メディアフラグメントユニットのデータタイプおよびデータ長の情報を格納することにより、テキスト処理部は、そのメディアフラグメントユニットを受けた段階で、予め、計算資源の確保を行っておくことができる。

次に、伝送されるデータについて説明する。
図２は、字幕等のタイムドテキストを伝送するためのデータ構成（アセットの構成）を示す概略図である。本実施形態では、送信装置１は、映像や音声やテキストなどからなるテレビの放送信号をＭＭＴ（MPEG Multimedia Transport）方式で多重化して送信する。同図では、字幕アセットの例を示しているが、文字スーパー（文字によるスーパーインポーズ）アセットの場合も同様である。映像アセットや、音声アセットや、字幕アセットや、文字スーパーアセットなどが、ひとつのパッケージを構成する。あるパッケージ内における各アセットの所在は、ＭＰテーブル（ＭＭＴパッケージテーブル；不図示）において指し示される。

図示するように、字幕アセットは、複数のＭＰＵ（Media Processing Unit，メディアプロセッシングユニット，メディア処理ユニット）の時系列として構成される。各ＭＰＵは、複数のＭＦＵ（Media Fragment Unit，メディアフラグメントユニット，メディア断片ユニット）に分割して伝送することができる。ここで、ＭＦＵへの分割のしかたは一般的には任意であるが、本実施形態では、ＴＴＭＬ文書や、ＴＴＭＬ文書から参照される画像ファイル、音声ファイル、フォントファイルなど、これらの論理的なファイルの単位を、ＭＦＵの単位と一致させる。また、各ＭＰＵ内における先頭のＭＦＵは、ＴＴＭＬ文書ファイルとする。つまり、１つのＭＰＵは、１つのＴＴＭＬ文書ファイル（１つ目のＭＦＵ）と、そのＴＴＭＬ文書から参照するリソース（画像ファイル、音声ファイル、動画ファイル、フォントファイル等であり、各々のファイルがＭＦＵに相当）から成る。但し、ＴＴＭＬ文書から参照されるこれらのリソース数は、０個以上（０個であってもよい）である。なお、ＴＴＭＬ文書の中には、ＴＴＭＬの規約に基づく提示タイミングの情報が含まれる。１つのＴＴＭＬ文書内に、隣接する複数の提示タイミングが含まれていても良い。なお、１つのＴＴＭＬ文書内に複数の提示タイミングが含まれている場合にも、ＭＰＵは、それらのタイミングのうちの代表的タイミングの情報、例えば複数の提示タイミングのうち最初の提示タイミングをＭＵＰタイムスタンプとして有することができる。上記のように、字幕伝送アセットに含まれる各ＭＰＵは、１つまたは複数の提示タイミングをもつＴＴＭＬ文書による字幕データとその関連データをカプセル化したものである。

また、本実施形態では、各ＭＦＵは、字幕サンプルヘッダーを有している。各ＭＰＵにおける１つ目のＭＦＵ（これは、ＴＴＭＬ文書のＭＦＵである）の字幕サンプルヘッダーには、当該ＭＦＵに関する情報だけではなく、当該ＭＰＵ内の他のＭＦＵに関する情報をも格納することができる。字幕サンプルヘッダーについては、図３を用いて説明する。

図３は、送信装置１が送信する字幕伝送アセット内の各ＭＦＵにおける、字幕サンプルヘッダーのデータ構成を示す概略図である。文字スーパーにおける各ＭＦＵのヘッダーも、同様のデータ構成を有する。同図では、データ構造と、そのデータ構造に含まれる各データ項目のビット数およびデータ表記を示している。同図では、データ構造は、ブロック構造を有する形式言語で表現されている。なお、データ表記における「ｕｉｍｓｂｆ」は、「unsigned integer, most significant bit first」、即ち、符号なし整数であって最上位ビットが先頭であることを表す。また「ｂｓｌｂｆ」は、「bit string, left bit first」、即ち、ビット列であって左ビットが先頭であることを表す。

字幕サンプルヘッダー内の各フィールドについて以下に説明する。
（１）subtitle_tag （字幕識別タグ）： 字幕や文字スーパーのストリームを識別するためのラベルである。
（２）subtitle_sequence_number （字幕シーケンス番号）： 当該字幕アセット中で送る字幕データ全体のシーケンス番号を示す。同一ＭＰＵ内において共通の番号が格納される。また、連続するＭＰＵ間で１ずつインクリメントされる。
（３）subsample_number （字幕データ番号）： 当該ＭＰＵでの、字幕データ(subsample)の番号を昇順で表す。当該ＭＰＵ中の最初のＭＦＵで送られる字幕データの番号は「０」である。同一ＭＰＵ内において連続するＭＦＵ間で１ずつインクリメントされる。
（４）last_subsample_number （最終字幕データ番号）：当該ＭＰＵで送る、字幕データの最後のsubsample_numberを示す。
（５）data_type （データタイプ）：本ＭＦＵで送る字幕データ(subsample)のデータタイプを示す。データタイプの種類とその値については、後述する。

（６）length_extension_flag （データ長拡張フラグ）： 下に現れるデータ長のフィールドのビット数を拡張するか否かを示すフラグである。ビット数を拡張して３２ビットとする（０から、４，２９４，９６７，２９５まで表現可能）場合にはその値は「１」、ビット数を拡張せずに１６ビットとする（０から、６５，５３５まで表現可能）場合にはその値は「０」とする。
（７）subsamples_info_flag （字幕データヒント情報フラグ）：当該ＭＰＵで伝送する、全ての字幕データ(subsample)に関するヒント情報を記述するか否かを表すフラグ情報である。ヒント情報が含まれる場合には場合の値は「１」、含まれない場合の値は「０」とする。

（８）data_size （データサイズ）：当該ＭＦＵで送る字幕データのサイズ（バイト数）を示す。
（９）subsample_i_content_type （ｉ番目字幕データタイプ）：i番目の字幕データ（ＭＦＵ）のデータタイプを示す。データ型の種類とその値については、後述する。
（１０）subsample_i_data_size （ｉ番目字幕データサイズ）：i番目の字幕データ（ＭＦＵ）のサイズを示す。
（１１）data_byte （データバイト）：当該ＭＦＵの字幕データのデータバイトである。

なお、当該ＭＦＵの字幕データ番号が「０」（即ち、先頭のＭＦＵ）であって、且つ（４）の最終字幕データ番号が０より大きく（即ち、ＴＴＭＬ文書から参照されるリソースファイルのＭＦＵが１個以上存在し）、且つ（７）の字幕データヒント情報フラグが「１」である場合に、そしてその場合にのみ、（９）のｉ番目字幕データタイプと（１０）のｉ番目字幕データサイズのペアのループは存在する。
また、（６）のデータ長拡張フラグは、（８）のデータサイズと（１０）のｉ番目字幕データサイズの、両方のビット数に対して効く。

図４は、上述した字幕サンプルヘッダーにおける、データタイプ（図３におけるデータ構造の第６行）およびｉ番目字幕データタイプ（図３におけるデータ構造の第１９行）の値とその意味を示す概略図である。なお、データタイプはビット列表現である。
データタイプの値が「００００」であるとき、そのＭＦＵは、ＡＲＩＢ−ＴＴＭＬの文書ファイルを格納している。ＡＲＩＢ−ＴＴＭＬは、ＴＴＭＬの規格の一つである。
データタイプの値が「０００１」であるとき、そのＭＦＵは、ＰＮＧ（Portable Network Graphics）形式の画像ファイルを格納している。
データタイプの値が「００１０」であるとき、そのＭＦＵは、ＳＶＧ（Scalable Vector Graphics）形式の画像ファイルを格納している。
データタイプの値が「００１１」であるとき、そのＭＦＵは、ＰＣＭ（ＡＩＦＦ−Ｃ）形式の音声ファイルを格納している。ＰＣＭは、パルスコード変調を表す。ＡＩＦＦは、Audio Interchange File Formatの略である。
データタイプの値が「０１００」であるとき、そのＭＦＵは、ＭＰ３（MPEG-1 Audio Layer-3）形式の音声ファイルを格納している。
データタイプの値が「０１０１」であるとき、そのＭＦＵは、ＭＰＥＧ−４ ＡＡＣ（Advanced Audio Coding，先進的音響符号化）形式の音声ファイルを格納している。なお、ＭＰＥＧは、Moving Picture Experts Groupの略である。
データタイプの値が「０１１０」であるとき、そのＭＦＵは、ＳＶＧ（Scalable Vector Graphics）形式のフォントファイルを格納している。ＳＶＧは、ベクターフォントの一種である。
データタイプの値が「０１１１」であるとき、そのＭＦＵは、ＷＯＦＦ（Web Open Font Format）形式のフォントファイルを格納している。
データタイプの値の「１０００」から「１１１１」までの値は、将来の使用のためにリザーブされている。

なお、上述した実施形態における送信装置、受信装置の機能の少なくとも一部をコンピューターで実現するようにしても良い。その場合、これらの機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上説明した本実施形態の構成によれば、ＭＭＴによる伝送において、画像や音声、ウェブフォントなどを組み合わせた字幕あるいは文字スーパーを確実に表示させることができるようになる。

また、本実施形態の構成によれば、メディアを意識してＭＦＵを構成し、つまり、論理的なファイル（ＴＴＭＬファイルやリソースファイル）の単位とＭＦＵ単位とを一致させて伝送するようにしていることで、パケットロスのような伝送品質低下が発生したときの誤りの伝搬を抑えることが可能である。例えば、画像ファイルの部分のＭＦＵがロスしても、最低限、字幕テキストの文字は表示可能であるなどといった、耐障害性が得られる。

また、本実施形態の構成によれば、subsample_number（ＭＰＵ内における当該ＭＦＵ（受信中のＭＦＵ）の通し番号）とlast_subsample_number（ＭＰＵ内におけるＭＦＵの総数の情報）を、各ＭＦＵのヘッダー内に入れるようにしたことで、当該ＭＦＵがＭＰＵ中の最後のＭＦＵかどうかを判別でき、これにより全てのデータが揃ったタイミングで確実に字幕の提示ができる。なお、仮にこのヒント情報がないと、ＭＰＵのデータが揃ったかどうかわからず、タイムリーな提示ができない。

また、本実施形態の構成によれば、最初のＭＦＵにつける字幕サンプルヘッダー中に、後続のＭＦＵに入る字幕情報に関する情報（データタイプおよびデータサイズ）を入れることで、受信機が予めメモリを確保するなどの準備ができるようになる。

以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
例えば、本発明をテレビ放送以外に適用しても良い。テレビ放送に限らず、ＭＭＴ伝送方式を用いてストリーム型コンテンツおよびタイムドテキストを配信するサービス（例えば、インターネットを利用したコンテンツ配信サービス）等において、上述の実施形態と同様の構成を適用することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、例えば、テレビ放送のためのシステム（送信装置や受信装置）のために利用可能である。また、本発明は、テレビ放送に限らず、タイムドテキストを伴ったストリーム型のコンテンツを配信するためのシステムのために利用可能である。

１ 送信装置
２ 受信装置
１１ 送信部
１２ 多重化部
１４ 映像・音声設定部
１５ テキスト設定部
２１ 受信部
２２ 分離部
２４ 映像・音声処理部
２５ テキスト処理部
２６ リソース一時蓄積部
２７ テキスト提示制御部
２８ 合成表示・出力部

Claims (4)

1. 提示タイミングが指定されたタイムドテキストデータを提示タイミンググループごとにＭＭＴ伝送方式における一つのメディアプロセッシングユニットに格納するとともに、複数の前記メディアプロセッシングユニットから成るテキストアセットを生成するテキスト設定部と、
   前記テキスト設定部が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する多重化部と、
   前記多重化部によって多重化して得られた配信データを送出する送信部と、
   を具備する送信装置であって、
   前記提示タイミンググループは、複数の前記提示タイミングを含み得るものであり、
   前記テキスト設定部は、前記提示タイミンググループに対応する前記タイムドテキストデータと当該タイムドテキストデータから参照されるリソースファイルとの各々を、同一の前記メディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納することによって前記テキストアセットを生成する、
   ことを特徴とする送信装置。
2. 外部から配信データを含む信号を受信する受信部と、
   前記受信部が受信した前記配信データから、ＭＭＴ伝送方式における一連のメディアプロセッシングユニットとして成るテキストアセットを分離する分離部と、
   前記分離部によって分離された前記テキストアセットから前記メディアプロセッシングユニットを順次抽出し、前記メディアプロセッシングユニットに含まれるタイムドテキストデータを抽出するテキスト処理部と、
   前記テキスト処理部によって抽出された前記タイムドテキストデータから提示タイミングの情報を取得するとともに、前記タイムドテキストデータに含まれるテキストを前記提示タイミングの情報にしたがうタイミングで提示するよう制御する提示制御部と、
   を具備する受信装置であって、
   前記テキストアセットは、提示タイミンググループごとのメディアプロセッシングユニットから成り、
   前記提示タイミンググループは、複数の前記提示タイミングを含み得るものであり、
   前記メディアプロセッシングユニットは、前記提示タイミンググループに対応する前記タイムドテキストデータと、当該タイムドテキストデータから参照されるリソースファイルとの各々を、当該メディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納して成るものであり、
   前記テキスト処理部は、前記メディアプロセッシングユニット内の前記タイムドテキストデータおよび前記リソースファイルを抽出し、
   前記提示制御部は、前記テキスト処理部によって抽出された前記タイムドテキストデータと前記リソースファイルに基づいて提示用のレイアウトを生成し、前記提示タイミングの情報にしたがうタイミングで提示する、
   ことを特徴とする受信装置。
3. 提示タイミングが指定されたタイムドテキストデータを提示タイミンググループごとにＭＭＴ伝送方式における一つのメディアプロセッシングユニットに格納するとともに、複数の前記メディアプロセッシングユニットから成るテキストアセットを生成するテキスト設定手段、
   前記テキスト設定手段が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する多重化手段、
   としてコンピューターを機能させるプログラムであって、
   前記提示タイミンググループは、複数の前記提示タイミングを含み得るものであり、
   前記テキスト設定手段は、前記提示タイミンググループに対応する前記タイムドテキストデータと当該タイムドテキストデータから参照されるリソースファイルとの各々を、同一の前記メディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納することによって前記テキストアセットを生成する、
   プログラム。
4. 受信手段が受信した配信データから、ＭＭＴ伝送方式における一連のメディアプロセッシングユニットとして成るテキストアセットを分離する分離手段、
   前記分離手段によって分離された前記テキストアセットから前記メディアプロセッシングユニットを順次抽出し、前記メディアプロセッシングユニットに含まれるタイムドテキストデータを抽出するテキスト処理手段、
   前記テキスト処理手段によって抽出された前記タイムドテキストデータから提示タイミングの情報を取得するとともに、前記タイムドテキストデータに含まれるテキストを前記提示タイミングの情報にしたがうタイミングで提示するよう制御する提示制御手段、
   としてコンピューターを機能させるプログラムであって、
   前記テキストアセットは、提示タイミンググループごとのメディアプロセッシングユニットから成り、
   前記提示タイミンググループは、複数の前記提示タイミングを含み得るものであり、
   前記メディアプロセッシングユニットは、前記提示タイミンググループに対応する前記タイムドテキストデータと、当該タイムドテキストデータから参照されるリソースファイルとの各々を、当該メディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納して成るものであり、
   前記テキスト処理手段は、前記メディアプロセッシングユニット内の前記タイムドテキストデータおよび前記リソースファイルを抽出し、
   前記提示制御手段は、前記テキスト処理手段によって抽出された前記タイムドテキストデータと前記リソースファイルに基づいて提示用のレイアウトを生成し、前記提示タイミングの情報にしたがうタイミングで提示する、
   プログラム。

Images