JP6444016B1 - Transmission device and reception device, and program - Google Patents
Transmission device and reception device, and program Download PDFInfo
- Publication number
- JP6444016B1 JP6444016B1 JP2018188543A JP2018188543A JP6444016B1 JP 6444016 B1 JP6444016 B1 JP 6444016B1 JP 2018188543 A JP2018188543 A JP 2018188543A JP 2018188543 A JP2018188543 A JP 2018188543A JP 6444016 B1 JP6444016 B1 JP 6444016B1
- Authority
- JP
- Japan
- Prior art keywords
- text
- unit
- data
- processing unit
- media
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 130
- 238000000034 method Methods 0.000 claims abstract description 19
- 239000012634 fragment Substances 0.000 claims description 59
- 230000006870 function Effects 0.000 description 13
- 239000000284 extract Substances 0.000 description 8
- 238000000926 separation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】適切なタイミングでタイムドテキストを伝送することのできる、送信装置および受信装置、ならびにそれらのプログラムを提供する。【解決手段】送信装置において、テキスト設定部は、提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後の前記タイムドテキストデータをMMT伝送方式における一つのメディアプロセッシングユニットに格納し、前記提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成する。多重化部は、前記テキスト設定部が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する。そして、送信部は、前記多重化部によって多重化して得られた配信データを送出する。【選択図】図1Provided are a transmission device and a reception device, and a program thereof, capable of transmitting timed text at an appropriate timing. In a transmitting apparatus, a text setting unit divides timed text data with a specified presentation timing into a plurality of presentation timing groups, and the divided timed text data is a medium in an MMT transmission method. A text asset that is stored in a processing unit and includes a plurality of media processing units for each presentation timing group is generated. The multiplexing unit multiplexes content data including at least the text asset generated by the text setting unit to generate distribution data. Then, the transmission unit transmits the distribution data obtained by multiplexing by the multiplexing unit. [Selection] Figure 1
Description
本発明は、送信装置および受信装置、ならびにそれらのプログラムに関する。特に、テレビ放送の、送信装置、受信装置、プログラムに関する。 The present invention relates to a transmission device, a reception device, and a program thereof. In particular, the present invention relates to a transmitter, a receiver, and a program for television broadcasting.
テレビ放送における字幕テキスト等のデータは、テキストそのものと、そのテキストを視聴者側で提示するタイミングの情報とを含むものである。このような提示タイミングが指定されたテキストデータを、タイムドテキスト(timed text)、またはタイムドテキストデータと呼ぶ。このような提示タイミングに関する指定を伴うテキストの表現方法の一つとして、TTML(Timed Text Markup Language,タイムドテキストマークアップ言語)がある。TTMLを用いることにより、テキストの表示に関して、表示タイミングや、表示レイアウト属性(表示位置など)を指定して記述することができる。デジタルテレビ放送における、字幕テキストやその他のスーパーインポーズなどの情報を伝送するためにこのTTMLを利用することも検討されている。なお、字幕テキストは、例えば、放送コンテンツにおける音声発話の内容を、音声発話と同じ言語やあるいは異なる言語で表示するために用いられる。 Data such as subtitle text in television broadcasting includes text itself and timing information for presenting the text on the viewer side. Text data in which such presentation timing is designated is called timed text or timed text data. One of the methods for expressing text accompanied by such designation regarding presentation timing is TTML (Timed Text Markup Language). By using TTML, it is possible to specify and describe the display timing and display layout attributes (display position, etc.) regarding text display. The use of TTML for transmitting information such as subtitle text and other superimposes in digital television broadcasting is also under consideration. Note that the caption text is used, for example, to display the content of the audio utterance in the broadcast content in the same language as the audio utterance or in a different language.
非特許文献1には、TTMLについての規定が記載されている。その第8章にはスタイリング(文字のフォントを含む)について記載されている。また第9章にはレイアウトについて記載されている。また第10章にはタイミングについて記載されている。
Non-Patent
非特許文献1は、TTMLデータそのものに関する規約を定めるものであるため、データ形式について記載されているが、そのデータを伝送する手順等については記載されていない。従来技術では、映像コンテンツの字幕等のタイムドテキストをTTMLで記述して伝送する場合には、コンテンツ全体についてのタイムドテキスト(例えば、1時間の映像コンテンツであれば、1時間分の映像に対応するタイムドテキスト)を予め伝送していた。
Non-Patent
しかしながら、そのような従来技術による方法では、受信装置側で蓄積しなければならないタイムドテキストのデータ量が膨大になり、必要となるメモリ等の資源が多くなってしまうという問題がある。また、コンテンツ全体についてのタイムドテキストを予め伝送するために、例えば、番組開始前に充分な時間の余裕をもってタイムドテキストの伝送を行わなければならないという問題がある。また、放送の場合には、番組の途中から受信装置の電源がオンされる場合もあり、そのような場合にもタイムドテキストを遅滞なく伝送することは技術的な困難を伴う。 However, such a method according to the prior art has a problem that the amount of timed text data that must be stored on the receiving device side becomes enormous, and resources such as necessary memory increase. In addition, in order to transmit timed text for the entire content in advance, for example, there is a problem that timed text must be transmitted with sufficient time before the program starts. In the case of broadcasting, the receiving device may be turned on from the middle of a program. Even in such a case, it is technically difficult to transmit timed text without delay.
本発明は、上記の課題認識に基づいて行なわれたものであり、放送等において、適切なタイミングでタイムドテキストを伝送することのできる、送信装置および受信装置、ならびにそれらのプログラムを提供するものである。 The present invention has been made on the basis of the above-mentioned problem recognition, and provides a transmission device and a reception device, and a program thereof, capable of transmitting timed text at an appropriate timing in broadcasting or the like. It is.
また、本発明のさらなる課題は、上記のタイムドテキストの伝送において、画像、音声、ウェブフォントなどを組み合わせた字幕データあるいは文字スーパーのデータを確実に表示させるための、送信装置および受信装置、ならびにそれらのプログラムを提供することである。 Further, a further object of the present invention is to provide a transmission device and a reception device for reliably displaying subtitle data or character superimposition data combining images, sounds, web fonts, and the like in the transmission of the timed text described above, and To provide those programs.
[1]上記の課題を解決するため、本発明の一態様による送信装置は、提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後の前記タイムドテキストデータをMMT伝送方式における一つのメディアプロセッシングユニットに格納し、前記提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成するテキスト設定部と、前記テキスト設定部が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する多重化部と、前記多重化部によって多重化して得られた配信データを送出する送信部と、を具備することを特徴とする。 [1] In order to solve the above-described problem, a transmission device according to an aspect of the present invention divides timed text data in which presentation timing is specified into a plurality of presentation timing groups, and the timed text data after division. Is stored in one media processing unit in the MMT transmission method, and includes at least the text asset generated by the text setting unit and a text setting unit that generates a text asset including a plurality of media processing units for each presentation timing group It comprises a multiplexing unit that multiplexes content data to generate distribution data, and a transmission unit that transmits distribution data obtained by multiplexing by the multiplexing unit.
[2]また、本発明の一態様は、上記の送信装置において、前記テキスト設定部は、分割後の前記タイムドテキストデータと、当該分割後の前記タイムドテキストデータから参照されるリソースファイルとの各々を、同一のメディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納することによって前記テキストアセットを生成する、ことを特徴とする。 [2] Further, according to one aspect of the present invention, in the transmission device, the text setting unit includes the divided timed text data, and a resource file referred to from the divided timed text data. Are stored in different media fragment units within the same media processing unit, thereby generating the text asset.
[3]また、本発明の一態様は、上記の送信装置において、前記テキスト設定部は、あるメディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、前記テキストアセットを生成する、ことを特徴とする。 [3] Further, according to an aspect of the present invention, in the transmission device, the text setting unit may store data representing a total number of media fragment units in a certain media processing unit, and a predetermined media fragment in the media processing unit. The text asset is generated by storing in a unit.
[4]また、本発明の一態様は、上記の送信装置において、前記テキスト設定部は、あるメディアプロセッシングユニット内における各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、前記テキストアセットを生成する、ことを特徴とする。 [4] Further, according to one aspect of the present invention, in the transmission device described above, the text setting unit includes, for each media fragment unit in a certain media processing unit, a data type and a data size of a file stored in the media fragment unit. Is stored in a predetermined media fragment unit in the media processing unit to generate the text asset.
[5]そして、本発明の一態様による受信装置は、外部から配信データを含む信号を受信する受信部と、前記受信部が受信した前記配信データから、MMT伝送方式における一連のメディアプロセッシングユニットとして成るテキストアセットを分離する分離部と、
前記分離部によって分離された前記テキストアセットから前記メディアプロセッシングユニットを順次抽出し、前記メディアプロセッシングユニットに含まれるタイムドテキストデータを抽出するテキスト処理部と、前記テキスト処理部によって抽出された前記タイムドテキストデータから提示タイミングの情報を取得するとともに、前記タイムドテキストデータに含まれるテキストを前記提示タイミングの情報にしたがうタイミングで提示するよう制御する提示制御部と、を具備することを特徴とする。
[5] A receiving apparatus according to an aspect of the present invention includes a receiving unit that receives a signal including distribution data from the outside, and a series of media processing units in an MMT transmission scheme from the distribution data received by the receiving unit. A separation unit that separates the text assets,
A text processing unit that sequentially extracts the media processing units from the text assets separated by the separation unit and extracts timed text data included in the media processing unit; and the timed processing extracted by the text processing unit. A presentation control unit configured to obtain presentation timing information from the text data and to control to present the text included in the timed text data at a timing according to the presentation timing information.
[6]また、本発明の一態様は、上記の受信装置において、前記テキストアセットは、複数の提示タイミンググループに分割された結果として得られた前記提示タイミンググループごとのメディアプロセッシングユニットから成り、前記メディアプロセッシングユニットは、分割後の前記タイムドテキストデータと、当該分割後の前記タイムドテキストデータから参照されるリソースファイルとの各々を、当該メディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納して成るものであり、前記テキスト処理部は、前記メディアプロセッシングユニット内の前記タイムドテキストデータおよび前記リソースファイルを抽出し、前記提示制御部は、前記テキスト処理部によって抽出された前記タイムドテキストと前記リソースファイルに基づいて提示用のレイアウトを生成し、前記提示タイミングの情報にしたがうタイミングで提示する、ことを特徴とする。 [6] Further, according to one aspect of the present invention, in the reception device, the text asset includes a media processing unit for each presentation timing group obtained as a result of being divided into a plurality of presentation timing groups, The media processing unit stores each of the divided timed text data and the resource file referenced from the divided timed text data in another media fragment unit in the media processing unit. The text processing unit extracts the timed text data and the resource file in the media processing unit, and the presentation control unit extracts the timed text extracted by the text processing unit. Generates a layout for presentation on the basis of the resource file, presented at a timing according to the information of the presentation timing, characterized in that.
[7]また、本発明の一態様は、上記の受信装置において、前記テキスト処理部が抽出した前記リソースファイルを、当該リソースファイルが属するメディアプロッシングユニットの処理の間、一時的に蓄積するとともに、当該メディアプロッシングユニットの処理の終了後には一時的に蓄積した前記リソースファイルを消去するリソース一時蓄積部、をさらに具備することを特徴とする。 [7] In addition, according to an aspect of the present invention, in the reception device, the resource file extracted by the text processing unit is temporarily accumulated during processing of a media processing unit to which the resource file belongs. And a temporary resource storage unit for deleting the resource file temporarily stored after the processing of the media processing unit is completed.
[8]また、本発明の一態様は、上記の受信装置において、前記テキスト処理部が前記リソースファイルのうちの少なくとも一つの抽出に失敗したときには、前記提示制御部は、前記タイムドテキストと、抽出に失敗しなかった前記リソースファイルとに基づいて、提示用のレイアウトを生成する、ことを特徴とする。 [8] Further, according to an aspect of the present invention, in the reception device, when the text processing unit fails to extract at least one of the resource files, the presentation control unit includes the timed text, A presentation layout is generated based on the resource file that has not failed to be extracted.
[9]また、本発明の一態様は、上記の受信装置において、前記テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを格納しており、前記テキスト処理部は、前記メディアプロセッシングユニットを処理する際に、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数と、当該メディアプロセッシングユニット内における受信済みのメディアフラグメントユニットの数とに基づいて、当該メディアプロセッシングユニットにおける全てのメディアフラグメントユニットの受信を完了したか否かを判定し、前記提示制御部は、前記テキスト処理部による判定の結果に基づき、当該メディアプロセッシングユニット内の全てのメディアフラグメントユニットの受信が完了している場合に提示用のレイアウトを生成する、ことを特徴とする。 [9] Further, according to one aspect of the present invention, in the reception device, the predetermined media fragment unit in the media processing unit in the text asset stores data representing the total number of media fragment units in the media processing unit. When the text processing unit processes the media processing unit, the text processing unit is based on the total number of media fragment units in the media processing unit and the number of received media fragment units in the media processing unit. And determining whether or not reception of all media fragment units in the media processing unit has been completed, and the presentation control unit determines whether the text processing unit Based on the result, it generates a layout for presentation when the reception of all media fragments units within the media processing unit has been completed, characterized in that.
[10]また、本発明の一態様は、上記の受信装置において、前記テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを格納しているものであり、前記テキスト処理部は、前記メディアプロセッシングユニットにおける前記所定のメディアフラグメントユニットを取得した際に、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについてメディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを参照することによって、当該メディアプロセッシングユニットに含まれる全てのメディアフラグメントユニットに含まれるファイルを処理するために必要な計算資源を確保する処理を行う、ことを特徴とする。 [10] Further, according to one aspect of the present invention, in the reception device, the predetermined media fragment unit in the media processing unit in the text asset is a media fragment unit for each media fragment unit in the media processing unit. Data representing the data type and data size of a file to be stored is stored, and when the text processing unit acquires the predetermined media fragment unit in the media processing unit, each of the media processing unit Refer to the data representing the data type and data size of the file stored in the media fragment unit What performs processing for securing computational resources needed to process the files included in all media fragments units included in the media processing unit, characterized in that.
[11]また、本発明の一態様は、提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後の前記タイムドテキストデータをMMT伝送方式における一つのメディアプロセッシングユニットに格納し、前記提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成するテキスト設定手段、前記テキスト設定手段が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する多重化手段、としてコンピューターを機能させるプログラムである。 [11] In addition, according to one aspect of the present invention, timed text data in which presentation timing is specified is divided into a plurality of presentation timing groups, and the divided timed text data is one media processing in the MMT transmission method. Text setting means for generating a text asset comprising a plurality of media processing units for each presentation timing group stored in the unit, and content data including at least the text asset generated by the text setting means is multiplexed to generate distribution data This is a program that causes a computer to function as multiplexing means.
[12]また、本発明の一態様は、受信手段が受信した配信データから、MMT伝送方式における一連のメディアプロセッシングユニットとして成るテキストアセットを分離する分離手段、前記分離手段によって分離された前記テキストアセットから前記メディアプロセッシングユニットを順次抽出し、前記メディアプロセッシングユニットに含まれるタイムドテキストデータを抽出するテキスト処理手段、前記テキスト処理手段によって抽出された前記タイムドテキストデータから提示タイミングの情報を取得するとともに、前記タイムドテキストデータに含まれるテキストを前記提示タイミングの情報にしたがうタイミングで提示するよう制御する提示制御手段、としてコンピューターを機能させるプログラムである。 [12] Further, according to one aspect of the present invention, separation means for separating a text asset as a series of media processing units in the MMT transmission method from distribution data received by the reception means, and the text asset separated by the separation means The media processing units are sequentially extracted from the text processing means for extracting the timed text data included in the media processing unit, and the presentation timing information is acquired from the timed text data extracted by the text processing means. A program that causes a computer to function as a presentation control unit that controls to present text included in the timed text data at a timing according to the presentation timing information.
本発明によれば、映像等のコンテンツに付随するタイムドテキストを、提示タイミングのグループごとに分割して、適切なタイミングで伝送することができる。つまり、コンテンツ全体に対応するタイムドテキストをまとめて予め伝送する必要がない。
また、タイムドテキストから参照されるリソースファイル等を確実に伝送し、提示することができる。
According to the present invention, it is possible to divide timed text associated with content such as video into groups of presentation timings and transmit them at an appropriate timing. That is, it is not necessary to transmit timed text corresponding to the entire content in advance.
Further, it is possible to reliably transmit and present a resource file or the like referenced from timed text.
次に、図面を参照しながら、本発明の実施形態について説明する。
図1は、本実施形態における送信装置および受信装置の各々の概略機能構成を示すブロック図である。なお、テレビ放送システムにおいて、実際には受信装置2は多数存在するが、本図では便宜上1台の受信装置のみを示している。
図示するように、送信装置1は、送信部11と、多重化部12と、映像・音声設定部14と、テキスト設定部15とを含んで構成される。また、受信装置2は、受信部21と、分離部22と、映像・音声処理部24と、テキスト処理部25と、リソース一時蓄積部26と、テキスト提示制御部27と、合成表示・出力部28とを含んで構成される。
なお、送信装置1および受信装置2は、テレビ放送の信号をそれぞれ送受信するものである。テレビ放送の信号の送受信のためには、テキストアセットだけではなく、映像や音声や制御情報などの処理のための機能を各装置は有するが、ここでは、本発明に直接関係する機能のみについて説明し、その他の機能については説明を省略する。
Next, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a schematic functional configuration of each of the transmission device and the reception device in the present embodiment. In the television broadcasting system, there are actually a large number of
As shown in the figure, the
Note that the
まず送信装置1内の各部の機能から説明する。
送信部11は、多重化部12によって多重化して得られた配信データを変調して放送信号として送出するものである。送信部11は、電波(地上波や放送衛星波)あるいはテレビ用ケーブルにより、放送信号を送信する。
多重化部12は、テキスト設定部15が生成したテキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する。多重化部12は、MMT(MPEG Media Transport)伝送方式による多重化を行う。具体的には、多重化部12は、テキストアセットとともに、映像・音声設定部14によって生成される映像アセットや音声アセットを多重化し、配信データを生成する。ここで、テキストアセットとは、字幕アセットや文字スーパーアセットである。
映像・音声設定部14は、供給される映像信号や音声信号を取得し、符号化し、それぞれ、映像アセットや音声アセットのコンテンツデータとして生成する。映像や音声はストリーム型のデータであり、これらを総称してストリーム型コンテンツデータと呼ぶ。
First, the function of each unit in the
The
The multiplexing
The video /
テキスト設定部15は、提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後のタイムドテキストデータをMMT伝送方式における一つのメディアプロセッシングユニットに格納し、提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成する。
The
ここで、テキストアセットとは、字幕アセットあるいは文字スーパーアセットである。
タイムドテキストデータは、受信機側の提示のタイミング(年月日、時分秒など)の情報を含んでいる。提示タイミンググループとは、1つまたはそれ以上の提示タイミングの集合である。提示タイミンググループが複数の提示タイミングを含むとき、それらは、隣接するタイミングの一群である。
なお、テキストアセットの内部のデータ構成については後で図面を参照しながら詳述する。
Here, the text asset is a caption asset or a character super asset.
The timed text data includes information on the timing of presentation (year / month / day, hour / minute / second, etc.) on the receiver side. A presentation timing group is a set of one or more presentation timings. When a presentation timing group includes a plurality of presentation timings, they are a group of adjacent timings.
The internal data structure of the text asset will be described in detail later with reference to the drawings.
テキスト設定部15は、また、分割後のタイムドテキストデータと、当該分割後のタイムドテキストデータから参照されるリソースファイルとの各々を、同一のメディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納することによってテキストアセットを生成する。
The
テキスト設定部15は、また、あるメディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、テキストアセットを生成する。具体的には、テキスト設定部15は、メディアプロセッシングユニット内の先頭のメディアフラグメントユニットにおけるヘッダー部分に、その総数を表すデータを格納する。
The
テキスト設定部15は、また、あるメディアプロセッシングユニット内における各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、テキストアセットを生成する。具体的には、テキスト設定部15は、メディアプロセッシングユニット内の先頭のメディアフラグメントユニットにおけるヘッダー部分に、後続する各メディアフラグメントユニットが格納するファイルのデータタイプとデータサイズ(バイト数)の情報を格納する。この情報は、テキストアセットを受信する受信装置側では、すべてのメディアフラグメントユニットのデータの処理のためのヒント情報となり得る。つまり、受信装置側ではヒント情報に基づいて、リソースファイルを処理するための計算資源(受信機側における、メモリやコンピューター処理の資源)を準備することができる。
なお、テキスト設定部15は、ヒント情報の格納を省略するようにしても良い。
The
The
送信装置1から送出された放送信号は、電波(地上波や放送衛星波)により、あるいはケーブルにより、多数の受信装置2に伝送される。
The broadcast signal transmitted from the
次に、受信装置2内の各部の機能について説明する。
受信部21は、外部から放送信号を受信する。この放送信号には、送信装置1によって送信された配信データが含まれている。受信部21は、受信した放送信号を復調する。
分離部22は、受信部21が受信した配信データから、MMT伝送方式における一連のメディアプロセッシングユニットとして成るテキストアセットを分離する。また、分離部22は、配信データから、映像アセットや音声アセットなどを分離する。
映像・音声処理部24は、分離部22によって分離された映像アセットや音声アセットをそれぞれ復号し、映像信号および音声信号を生成する。映像・音声処理部24は、同時に、映像および音声の提示タイミングに関する情報を、それぞれ、映像アセットおよび音声アセットから抽出する。
Next, functions of each unit in the receiving
The receiving
The
The video /
テキスト処理部25は、分離部22によって分離されたテキストアセットからメディアプロセッシングユニットを順次抽出し、メディアプロセッシングユニットに含まれるタイムドテキストデータを抽出する。
テキスト提示制御部27は、テキスト処理部25によって抽出されたタイムドテキストデータから提示タイミングの情報を取得するとともに、そのタイムドテキストデータに含まれるテキストを指定された提示タイミングで提示するよう制御する。なお、テキスト提示制御部27は、テキストを、指示されたレイアウトに従って配置する。テキストアセットは、後述するように、画像のリソースファイルや、音声のリソースファイルや、フォントファイルを含んでいる場合があり、テキスト提示制御部27は、これらの各リソースをも統合してレイアウトする。
なお、受信機側の表示画面において、字幕プレーンと文字スーパープレーンとは別のプレーンである。したがって、テキスト提示制御部27は、字幕アセットとして取得したテキストについては字幕プレーンにおいて提示するようにし、文字スーパーアセットとして取得したテキストについては文字スーパープレーンにおいて提示するようにする。つまり、テキスト提示制御部27は、これら両プレーンを互いに独立に制御する。
合成表示・出力部28は、テキスト提示制御部27によって出力される字幕プレーンおよび文字スーパープレーンと、映像・音声処理部24から出力される映像プレーンとを合成して画面を表示するとともに、映像・音声処理部24から渡される音声を出力する。
The
The text
In the display screen on the receiver side, the subtitle plane and the character superplane are different planes. Therefore, the text
The composite display /
なお、テキストアセットは、複数の提示タイミンググループに分割された結果として得られた提示タイミンググループごとのメディアプロセッシングユニットから成る。また、メディアプロセッシングユニットは、分割後のタイムドテキストデータと、当該分割後のタイムドテキストデータから参照されるリソースファイルとの各々を、当該メディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納して成るものである。
テキスト処理部25は、メディアプロセッシングユニット内のタイムドテキストデータおよび単数または複数のリソースファイルを抽出する。なお、テキスト処理部25は、抽出したリソースファイルをリソース一時蓄積部26に一時的に記憶させる。
リソース一時蓄積部26は、抽出されたリソースファイルを一時的に記憶する。つまり、リソース一時蓄積部26は、いわゆるキャッシュメモリの役割を果たす。本実施形態では、リソースファイルが参照されるのは1つのメディアプロセッシングユニットの範囲内においてのみである。したがって、あるメディアプロセッシングユニットの処理が完了して、次の新たなメディアプロセッシングユニットの受信および処理に移る際には、リソース一時蓄積部26の内容は一旦消去される。つまり、あるメディアプロセッシングユニットから次のメディアプロセッシングユニットの処理に移る段階で、リソース一時蓄積部26の内容を毎回クリアすることができる。即ち、本実施形態が複数のメディアプロセッシングユニット(各々は提示タイミングのグループに対応)に分割してタイムドテキストを伝送する方式をとっているため、リソースファイルを蓄積するメモリの容量が最小限で済む。
つまり、リソース一時蓄積部26は、テキスト処理部25が抽出したリソースファイルを、当該リソースファイルが属するメディアプロッシングユニットの処理の間、一時的に蓄積するとともに、当該メディアプロッシングユニットの処理の終了後には一時的に蓄積したリソースファイルを消去するものである。
そして、テキスト提示制御部27は、テキスト処理部25によって抽出されたタイムドテキストとリソースファイルに基づいて提示用のレイアウトを生成し、提示タイミングの情報にしたがうタイミングで提示するよう制御する。
Note that the text asset is composed of media processing units for each presentation timing group obtained as a result of being divided into a plurality of presentation timing groups. Further, the media processing unit stores each of the divided timed text data and the resource file referenced from the divided timed text data in another media fragment unit in the media processing unit. It consists of
The
The temporary
That is, the resource
Then, the text
テキスト処理部25がリソースファイルのうちの少なくとも一つの抽出に失敗したときには、テキスト提示制御部27は、タイムドテキストと、抽出に失敗しなかったリソースファイルとに基づいて、提示用のレイアウトを生成する。
つまり、伝送におけるメディアフラグメントユニットの単位と、論理的なファイル(タイムドテキストデータのファイルおよび画像や音声やフォントなどのリソースファイル)の単位とを一致させる。これにより、仮に一部のメディアフラグメントユニットの受信に失敗した場合にも、他のメディアフラグメントユニット(即ち他の論理的なファイル)への影響を及ぼすことなく、字幕や文字スーパーの提示を行うことができるようになる。
When the
That is, the unit of the media fragment unit in transmission and the unit of a logical file (timed text data file and resource file such as image, sound, font, etc.) are matched. As a result, even if reception of some media fragment units fails, subtitles and superimposing characters are presented without affecting other media fragment units (that is, other logical files). Will be able to.
また、テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを格納している。
テキスト処理部25は、メディアプロセッシングユニットを処理する際に、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数と、当該メディアプロセッシングユニット内における受信済みのメディアフラグメントユニットの数とに基づいて、当該メディアプロセッシングユニットにおける全てのメディアフラグメントユニットの受信を完了したか否かを判定する。なお、メディアプロセッシングユニット内におけるメディアフラグメントユニットの連番を付与して、メディアフラグメントユニット内に格納することにより、テキスト処理部25は、受信したメディアフラグメントユニットが、当該メディアプロセッシングユニットにおける何番目のものであるかを知ることができる。
テキスト提示制御部27は、テキスト処理部25による判定の結果に基づき、当該メディアプロセッシングユニット内の全てのメディアフラグメントユニットの受信が完了している場合に提示用のレイアウトの生成を開始することができる。
The predetermined media fragment unit in the media processing unit in the text asset stores data representing the total number of media fragment units in the media processing unit.
When the
Based on the result of determination by the
また、テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを格納しているものである。
テキスト処理部25は、メディアプロセッシングユニットにおける所定のメディアフラグメントユニットを取得した際に、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについてメディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを参照することによって、当該メディアプロセッシングユニットに含まれる全てのメディアフラグメントユニットに含まれるファイルを処理するために必要な計算資源(メモリやCPU)を確保する処理を行う。
具体的には、メディアプロセッシングユニット内の先頭のメディアフラグメントユニットのヘッダー部分に後続する各メディアフラグメントユニットのデータタイプおよびデータ長の情報を格納することにより、テキスト処理部は、そのメディアフラグメントユニットを受けた段階で、予め、計算資源の確保を行っておくことができる。
The predetermined media fragment unit in the media processing unit in the text asset stores data representing the data type and data size of the file stored in the media fragment unit for each media fragment unit in the media processing unit. Is.
When the
Specifically, the text processing unit receives the media fragment unit by storing the data type and data length information of each subsequent media fragment unit in the header portion of the first media fragment unit in the media processing unit. At this stage, it is possible to secure the computing resources in advance.
次に、伝送されるデータについて説明する。
図2は、字幕等のタイムドテキストを伝送するためのデータ構成(アセットの構成)を示す概略図である。本実施形態では、送信装置1は、映像や音声やテキストなどからなるテレビの放送信号をMMT(MPEG Multimedia Transport)方式で多重化して送信する。
同図では、字幕アセットの例を示しているが、文字スーパー(文字によるスーパーインポーズ)アセットの場合も同様である。映像アセットや、音声アセットや、字幕アセットや、文字スーパーアセットなどが、ひとつのパッケージを構成する。あるパッケージ内における各アセットの所在は、MPテーブル(MMTパッケージテーブル;不図示)において指し示される。
Next, data to be transmitted will be described.
FIG. 2 is a schematic diagram showing a data configuration (asset configuration) for transmitting timed text such as subtitles. In the present embodiment, the
In the figure, an example of a caption asset is shown, but the same applies to a character super (superimpose by character) asset. Video assets, audio assets, subtitle assets, character super assets, etc. constitute one package. The location of each asset in a package is indicated in an MP table (MMT package table; not shown).
図示するように、字幕アセットは、複数のMPU(Media Processing Unit,メディアプロセッシングユニット,メディア処理ユニット)の時系列として構成される。各MPUは、複数のMFU(Media Fragment Unit,メディアフラグメントユニット,メディア断片ユニット)に分割して伝送することができる。ここで、MFUへの分割のしかたは一般的には任意であるが、本実施形態では、TTML文書や、TTML文書から参照される画像ファイル、音声ファイル、フォントファイルなど、これらの論理的なファイルの単位を、MFUの単位と一致させる。また、各MPU内における先頭のMFUは、TTML文書ファイルとする。つまり、1つのMPUは、1つのTTML文書ファイル(1つ目のMFU)と、そのTTML文書から参照するリソース(画像ファイル、音声ファイル、動画ファイル、フォントファイル等であり、各々のファイルがMFUに相当)から成る。但し、TTML文書から参照されるこれらのリソース数は、0個以上(0個であってもよい)である。なお、TTML文書の中には、TTMLの規約に基づく提示タイミングの情報が含まれる。1つのTTML文書内に、隣接する複数の提示タイミングが含まれていても良い。なお、1つのTTML文書内に複数の提示タイミングが含まれている場合にも、MPUは、それらのタイミングのうちの代表的タイミングの情報、例えば複数の提示タイミングのうち最初の提示タイミングをMUPタイムスタンプとして有することができる。上記のように、字幕伝送アセットに含まれる各MPUは、1つまたは複数の提示タイミングをもつTTML文書による字幕データとその関連データをカプセル化したものである。 As illustrated, the caption asset is configured as a time series of a plurality of MPUs (Media Processing Unit, Media Processing Unit, Media Processing Unit). Each MPU can be divided into a plurality of MFUs (Media Fragment Units, Media Fragment Units, Media Fragment Units) and transmitted. Here, although the method of dividing into MFUs is generally arbitrary, in this embodiment, these logical files such as a TTML document, an image file, an audio file, a font file, and the like referred to from the TTML document are used. The unit of is matched with the unit of MFU. The top MFU in each MPU is a TTML document file. That is, one MPU is one TTML document file (first MFU) and resources (image file, audio file, moving image file, font file, etc.) referenced from the TTML document, and each file is stored in the MFU. Equivalent). However, the number of these resources referenced from the TTML document is 0 or more (may be 0). The TTML document includes presentation timing information based on TTML rules. A plurality of adjacent presentation timings may be included in one TTML document. Note that even when a plurality of presentation timings are included in one TTML document, the MPU uses representative timing information of these timings, for example, the first presentation timing among the plurality of presentation timings as the MUP time. Can have as a stamp. As described above, each MPU included in a caption transmission asset encapsulates caption data based on a TTML document having one or more presentation timings and related data.
また、本実施形態では、各MFUは、字幕サンプルヘッダーを有している。各MPUにおける1つ目のMFU(これは、TTML文書のMFUである)の字幕サンプルヘッダーには、当該MFUに関する情報だけではなく、当該MPU内の他のMFUに関する情報をも格納することができる。字幕サンプルヘッダーについては、図3を用いて説明する。 In the present embodiment, each MFU has a caption sample header. The caption sample header of the first MFU in each MPU (which is the MFU of the TTML document) can store not only information related to the MFU but also information related to other MFUs in the MPU. . The caption sample header will be described with reference to FIG.
図3は、送信装置1が送信する字幕伝送アセット内の各MFUにおける、字幕サンプルヘッダーのデータ構成を示す概略図である。文字スーパーにおける各MFUのヘッダーも、同様のデータ構成を有する。同図では、データ構造と、そのデータ構造に含まれる各データ項目のビット数およびデータ表記を示している。同図では、データ構造は、ブロック構造を有する形式言語で表現されている。なお、データ表記における「uimsbf」は、「unsigned integer, most significant bit first」、即ち、符号なし整数であって最上位ビットが先頭であることを表す。また「bslbf」は、「bit string, left bit first」、即ち、ビット列であって左ビットが先頭であることを表す。
FIG. 3 is a schematic diagram illustrating a data configuration of a caption sample header in each MFU in a caption transmission asset transmitted by the
字幕サンプルヘッダー内の各フィールドについて以下に説明する。
(1)subtitle_tag (字幕識別タグ): 字幕や文字スーパーのストリームを識別するためのラベルである。
(2)subtitle_sequence_number (字幕シーケンス番号): 当該字幕アセット中で送る字幕データ全体のシーケンス番号を示す。同一MPU内において共通の番号が格納される。また、連続するMPU間で1ずつインクリメントされる。
(3)subsample_number (字幕データ番号): 当該MPUでの、字幕データ(subsample)の番号を昇順で表す。当該MPU中の最初のMFUで送られる字幕データの番号は「0」である。同一MPU内において連続するMFU間で1ずつインクリメントされる。
(4)last_subsample_number (最終字幕データ番号):当該MPUで送る、字幕データの最後のsubsample_numberを示す。
(5)data_type (データタイプ):本MFUで送る字幕データ(subsample)のデータタイプを示す。データタイプの種類とその値については、後述する。
Each field in the caption sample header will be described below.
(1) subtitle_tag (caption identification tag): This is a label for identifying a subtitle or a character super stream.
(2) subtitle_sequence_number (caption sequence number): Indicates the sequence number of the entire caption data to be sent in the caption asset. A common number is stored in the same MPU. Further, it is incremented by 1 between consecutive MPUs.
(3) subsample_number (caption data number): The number of subtitle data (subsample) in the MPU is expressed in ascending order. The number of the caption data sent by the first MFU in the MPU is “0”. Incremented by 1 between consecutive MFUs in the same MPU.
(4) last_subsample_number (last caption data number): indicates the last subsample_number of caption data sent by the MPU.
(5) data_type (data type): indicates the data type of subtitle data (subsample) sent by this MFU. The type of data type and its value will be described later.
(6)length_extension_flag (データ長拡張フラグ): 下に現れるデータ長のフィールドのビット数を拡張するか否かを示すフラグである。ビット数を拡張して32ビットとする(0から、4,294,967,295まで表現可能)場合にはその値は「1」、ビット数を拡張せずに16ビットとする(0から、65,535まで表現可能)場合にはその値は「0」とする。
(7)subsamples_info_flag (字幕データヒント情報フラグ):当該MPUで伝送する、全ての字幕データ(subsample)に関するヒント情報を記述するか否かを表すフラグ情報である。ヒント情報が含まれる場合には場合の値は「1」、含まれない場合の値は「0」とする。
(6) length_extension_flag (data length extension flag): This flag indicates whether or not to extend the number of bits of the data length field that appears below. When the number of bits is expanded to 32 bits (representable from 0 to 4,294,967,295), the value is “1”, and the number of bits is not expanded to 16 bits (from 0 to 65, 535 can be expressed), the value is “0”.
(7) subsamples_info_flag (subtitle data hint information flag): Flag information indicating whether or not to describe hint information regarding all subtitle data (subsample) transmitted by the MPU. The value when the hint information is included is “1”, and the value when it is not included is “0”.
(8)data_size (データサイズ):当該MFUで送る字幕データのサイズ(バイト数)を示す。
(9)subsample_i_content_type (i番目字幕データタイプ):i番目の字幕データ(MFU)のデータタイプを示す。データ型の種類とその値については、後述する。
(10)subsample_i_data_size (i番目字幕データサイズ):i番目の字幕データ(MFU)のサイズを示す。
(11)data_byte (データバイト):当該MFUの字幕データのデータバイトである。
(8) data_size (data size): indicates the size (number of bytes) of caption data to be sent by the MFU.
(9) subsample_i_content_type (i-th caption data type): indicates the data type of the i-th caption data (MFU). The type of data type and its value will be described later.
(10) subsample_i_data_size (i-th subtitle data size): indicates the size of the i-th subtitle data (MFU).
(11) data_byte (data byte): Data byte of caption data of the MFU.
なお、当該MFUの字幕データ番号が「0」(即ち、先頭のMFU)であって、且つ(4)の最終字幕データ番号が0より大きく(即ち、TTML文書から参照されるリソースファイルのMFUが1個以上存在し)、且つ(7)の字幕データヒント情報フラグが「1」である場合に、そしてその場合にのみ、(9)のi番目字幕データタイプと(10)のi番目字幕データサイズのペアのループは存在する。
また、(6)のデータ長拡張フラグは、(8)のデータサイズと(10)のi番目字幕データサイズの、両方のビット数に対して効く。
Note that the caption data number of the MFU is “0” (that is, the first MFU), and the last caption data number of (4) is greater than 0 (that is, the MFU of the resource file referenced from the TTML document is (1) or more) and the caption data hint information flag in (7) is “1” and only in that case, the (9) i-th caption data type and (10) i-th caption data There is a loop of size pairs.
The data length extension flag (6) is effective for both the data size (8) and the i-th caption data size (10).
図4は、上述した字幕サンプルヘッダーにおける、データタイプ(図3におけるデータ構造の第6行)およびi番目字幕データタイプ(図3におけるデータ構造の第19行)の値とその意味を示す概略図である。なお、データタイプはビット列表現である。
データタイプの値が「0000」であるとき、そのMFUは、ARIB−TTMLの文書ファイルを格納している。ARIB−TTMLは、TTMLの規格の一つである。
データタイプの値が「0001」であるとき、そのMFUは、PNG(Portable Network Graphics)形式の画像ファイルを格納している。
データタイプの値が「0010」であるとき、そのMFUは、SVG(Scalable Vector Graphics)形式の画像ファイルを格納している。
データタイプの値が「0011」であるとき、そのMFUは、PCM(AIFF−C)形式の音声ファイルを格納している。PCMは、パルスコード変調を表す。AIFFは、Audio Interchange File Formatの略である。
データタイプの値が「0100」であるとき、そのMFUは、MP3(MPEG-1 Audio Layer-3)形式の音声ファイルを格納している。
データタイプの値が「0101」であるとき、そのMFUは、MPEG−4 AAC(Advanced Audio Coding,先進的音響符号化)形式の音声ファイルを格納している。なお、MPEGは、Moving Picture Experts Groupの略である。
データタイプの値が「0110」であるとき、そのMFUは、SVG(Scalable Vector Graphics)形式のフォントファイルを格納している。SVGは、ベクターフォントの一種である。
データタイプの値が「0111」であるとき、そのMFUは、WOFF(Web Open Font Format)形式のフォントファイルを格納している。
データタイプの値の「1000」から「1111」までの値は、将来の使用のためにリザーブされている。
FIG. 4 is a schematic diagram showing values and meanings of the data type (the sixth line of the data structure in FIG. 3) and the i-th caption data type (the 19th line of the data structure in FIG. 3) in the caption sample header described above. It is. The data type is a bit string expression.
When the value of the data type is “0000”, the MFU stores an ARIB-TTML document file. ARIB-TTML is one of the TTML standards.
When the value of the data type is “0001”, the MFU stores an image file in PNG (Portable Network Graphics) format.
When the value of the data type is “0010”, the MFU stores an image file in the SVG (Scalable Vector Graphics) format.
When the value of the data type is “0011”, the MFU stores an audio file in PCM (AIFF-C) format. PCM represents pulse code modulation. AIFF is an abbreviation for Audio Interchange File Format.
When the value of the data type is “0100”, the MFU stores an audio file in MP3 (MPEG-1 Audio Layer-3) format.
When the value of the data type is “0101”, the MFU stores an audio file in the MPEG-4 AAC (Advanced Audio Coding) format. MPEG is an abbreviation for Moving Picture Experts Group.
When the value of the data type is “0110”, the MFU stores a font file in the SVG (Scalable Vector Graphics) format. SVG is a type of vector font.
When the value of the data type is “0111”, the MFU stores a font file in the WOFF (Web Open Font Format) format.
Data type values from “1000” to “1111” are reserved for future use.
なお、上述した実施形態における送信装置、受信装置の機能の少なくとも一部をコンピューターで実現するようにしても良い。その場合、これらの機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 Note that at least some of the functions of the transmission device and the reception device in the above-described embodiment may be realized by a computer. In that case, the program for realizing these functions may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, a “computer-readable recording medium” dynamically holds a program for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included, and a program that holds a program for a certain period of time. The program may be a program for realizing a part of the above-described functions, or may be a program that can realize the above-described functions in combination with a program already recorded in a computer system.
以上説明した本実施形態の構成によれば、MMTによる伝送において、画像や音声、ウェブフォントなどを組み合わせた字幕あるいは文字スーパーを確実に表示させることができるようになる。 According to the configuration of the present embodiment described above, it is possible to reliably display subtitles or character superimposes that combine images, sounds, web fonts, and the like in transmission using MMT.
また、本実施形態の構成によれば、メディアを意識してMFUを構成し、つまり、論理的なファイル(TTMLファイルやリソースファイル)の単位とMFU単位とを一致させて伝送するようにしていることで、パケットロスのような伝送品質低下が発生したときの誤りの伝搬を抑えることが可能である。例えば、画像ファイルの部分のMFUがロスしても、最低限、字幕テキストの文字は表示可能であるなどといった、耐障害性が得られる。 Further, according to the configuration of the present embodiment, the MFU is configured in consideration of the media, that is, the unit of the logical file (TTML file or resource file) and the MFU unit are transmitted in the same manner. Thus, it is possible to suppress error propagation when transmission quality degradation such as packet loss occurs. For example, even if the MFU of the image file portion is lost, fault tolerance such as the ability to display the subtitle text at a minimum can be obtained.
また、本実施形態の構成によれば、subsample_number(MPU内における当該MFU(受信中のMFU)の通し番号)とlast_subsample_number(MPU内におけるMFUの総数の情報)を、各MFUのヘッダー内に入れるようにしたことで、当該MFUがMPU中の最後のMFUかどうかを判別でき、これにより全てのデータが揃ったタイミングで確実に字幕の提示ができる。なお、仮にこのヒント情報がないと、MPUのデータが揃ったかどうかわからず、タイムリーな提示ができない。 Further, according to the configuration of the present embodiment, subsample_number (the serial number of the MFU (receiving MFU) in the MPU) and last_subsample_number (information on the total number of MFUs in the MPU) are placed in the header of each MFU. As a result, it is possible to determine whether or not the MFU is the last MFU in the MPU, and thereby it is possible to reliably present subtitles at the timing when all the data is prepared. Without this hint information, it is not possible to know whether or not the MPU data is prepared, and timely presentation cannot be performed.
また、本実施形態の構成によれば、最初のMFUにつける字幕サンプルヘッダー中に、後続のMFUに入る字幕情報に関する情報(データタイプおよびデータサイズ)を入れることで、受信機が予めメモリを確保するなどの準備ができるようになる。 In addition, according to the configuration of the present embodiment, the receiver secures memory in advance by putting information (data type and data size) related to the subtitle information entering the subsequent MFU into the subtitle sample header attached to the first MFU. You can be ready to do.
以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
例えば、本発明をテレビ放送以外に適用しても良い。テレビ放送に限らず、MMT伝送方式を用いてストリーム型コンテンツおよびタイムドテキストを配信するサービス(例えば、インターネットを利用したコンテンツ配信サービス)等において、上述の実施形態と同様の構成を適用することができる。
Although the embodiment has been described above, the present invention can also be implemented in the following modified example.
For example, the present invention may be applied to other than television broadcasting. The configuration similar to that of the above-described embodiment can be applied not only to television broadcasting but also to a service (for example, a content distribution service using the Internet) that distributes stream-type content and timed text using the MMT transmission method. it can.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
本発明は、例えば、テレビ放送のためのシステム(送信装置や受信装置)のために利用可能である。また、本発明は、テレビ放送に限らず、タイムドテキストを伴ったストリーム型のコンテンツを配信するためのシステムのために利用可能である。 The present invention can be used, for example, for a system (transmitting device or receiving device) for television broadcasting. Further, the present invention is not limited to television broadcasting, and can be used for a system for delivering stream-type content accompanied by timed text.
1 送信装置
2 受信装置
11 送信部
12 多重化部
14 映像・音声設定部
15 テキスト設定部
21 受信部
22 分離部
24 映像・音声処理部
25 テキスト処理部
26 リソース一時蓄積部
27 テキスト提示制御部
28 合成表示・出力部
DESCRIPTION OF
Claims (2)
前記テキスト設定部が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する多重化部と、
前記多重化部によって多重化して得られた配信データを送出する送信部と、
を具備し、
前記テキスト設定部は、分割後の前記タイムドテキストデータと、当該分割後の前記タイムドテキストデータから参照されるリソースファイルとの各々を、同一のメディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納することによって前記テキストアセットを生成し、
前記テキスト設定部は、あるメディアプロセッシングユニット内における各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、前記テキストアセットを生成する、
ことを特徴とする送信装置。 The timed text data in which the presentation timing is specified is divided into a plurality of presentation timing groups, and the divided timed text data is stored in one media processing unit in the MMT transmission method, A text configuration unit that generates text assets consisting of multiple media processing units,
A multiplexing unit that multiplexes content data including at least the text asset generated by the text setting unit to generate distribution data;
A transmission unit for sending distribution data obtained by multiplexing by the multiplexing unit;
Comprising
The text setting unit transfers each of the divided timed text data and the resource file referenced from the divided timed text data to another media fragment unit in the same media processing unit. Generate the text asset by storing each,
For each media fragment unit in a certain media processing unit, the text setting unit stores data indicating the data type and data size of a file stored in the media fragment unit in a predetermined media fragment unit in the media processing unit. Storing and generating said text asset;
A transmission apparatus characterized by the above.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014113439 | 2014-05-30 | ||
JP2014113439 | 2014-05-30 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015108638A Division JP6416698B2 (en) | 2014-05-30 | 2015-05-28 | Transmission device and reception device, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6444016B1 true JP6444016B1 (en) | 2018-12-26 |
JP2019009818A JP2019009818A (en) | 2019-01-17 |
Family
ID=55225176
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015108638A Active JP6416698B2 (en) | 2014-05-30 | 2015-05-28 | Transmission device and reception device, and program |
JP2018188542A Active JP6444015B1 (en) | 2014-05-30 | 2018-10-03 | Transmission device and reception device, and program |
JP2018188543A Active JP6444016B1 (en) | 2014-05-30 | 2018-10-03 | Transmission device and reception device, and program |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015108638A Active JP6416698B2 (en) | 2014-05-30 | 2015-05-28 | Transmission device and reception device, and program |
JP2018188542A Active JP6444015B1 (en) | 2014-05-30 | 2018-10-03 | Transmission device and reception device, and program |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6416698B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6900907B2 (en) * | 2016-01-19 | 2021-07-07 | ソニーグループ株式会社 | Transmitter, transmitter, receiver and receiver |
JP6700957B2 (en) * | 2016-05-10 | 2020-05-27 | 日本放送協会 | Subtitle data generation device and program |
GB2557194A (en) * | 2016-11-29 | 2018-06-20 | Sony Corp | A decoder, encoder, computer program and method |
JP2021054915A (en) | 2019-09-27 | 2021-04-08 | ホヤ レンズ タイランド リミテッドHOYA Lens Thailand Ltd | Polymerizable composition for optical member, optical member, and colored optical member |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006238147A (en) * | 2005-02-25 | 2006-09-07 | Toshiba Corp | Content reproducing device, subtitle reproducing method, and program |
KR20120119790A (en) * | 2011-04-22 | 2012-10-31 | 삼성전자주식회사 | Method and apparatus for media data transmission, and method and apparatus for media data reception |
JP6331670B2 (en) * | 2014-05-12 | 2018-05-30 | ソニー株式会社 | Reception device, transmission device, and data processing method |
JP6384119B2 (en) * | 2014-05-15 | 2018-09-05 | ソニー株式会社 | Reception device, transmission device, and data processing method |
-
2015
- 2015-05-28 JP JP2015108638A patent/JP6416698B2/en active Active
-
2018
- 2018-10-03 JP JP2018188542A patent/JP6444015B1/en active Active
- 2018-10-03 JP JP2018188543A patent/JP6444016B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016006958A (en) | 2016-01-14 |
JP6444015B1 (en) | 2018-12-26 |
JP2019009818A (en) | 2019-01-17 |
JP6416698B2 (en) | 2018-10-31 |
JP2019033512A (en) | 2019-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6444016B1 (en) | Transmission device and reception device, and program | |
US9584837B2 (en) | Receiving device and method of controlling the same, distribution device and distribution method, program, and distribution system | |
US20150113558A1 (en) | Receiver apparatus, broadcast/communication-cooperation system, and broadcast/communication-cooperation method | |
EP3119102B1 (en) | Receiving device, reception method, transmitting device, and transmission method | |
JP6434600B2 (en) | Decoding device, decoding method, and decoding program | |
JPWO2017208818A1 (en) | Transmission apparatus, transmission method, reception apparatus and reception method | |
JPWO2016132977A1 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
CN106605408A (en) | Method and apparatus for transmission and reception of media data | |
JP2016110645A (en) | Dividing device, analysis device, and program | |
US10631037B2 (en) | Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein | |
KR102307330B1 (en) | Reception device and reception method | |
US10728610B2 (en) | Receiving apparatus, receiving method, transmission apparatus, and transmission method | |
JP6455974B2 (en) | Receiving machine | |
JP6399686B2 (en) | Receiving machine | |
JP6461638B2 (en) | Receiving machine | |
JP7328039B2 (en) | transmitter and receiver | |
JP7013552B2 (en) | Broadcast signal transmitter / receiver | |
JP6999600B2 (en) | Broadcast signal transmitter | |
JP7013260B2 (en) | Broadcast signal transmitter / receiver | |
JP7013261B2 (en) | Broadcast signal transmitter / receiver | |
JP6667285B2 (en) | Transmitting device, receiving device, program, and chip | |
JP2015159366A (en) | receiver | |
JP2021061604A (en) | Broadcast signal transmitter/receiver | |
JP2021057906A (en) | Broadcast signal receiver | |
JP2021048633A (en) | Broadcast signal transmission/reception device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181003 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20181003 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6444016 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |