JP2024040224A - Method for transmission, transmitter, method for reception, and receiver - Google Patents
Method for transmission, transmitter, method for reception, and receiver Download PDFInfo
- Publication number
- JP2024040224A JP2024040224A JP2024011700A JP2024011700A JP2024040224A JP 2024040224 A JP2024040224 A JP 2024040224A JP 2024011700 A JP2024011700 A JP 2024011700A JP 2024011700 A JP2024011700 A JP 2024011700A JP 2024040224 A JP2024040224 A JP 2024040224A
- Authority
- JP
- Japan
- Prior art keywords
- data
- information
- display
- display data
- mpu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title description 128
- 238000000034 method Methods 0.000 title description 56
- 238000012545 processing Methods 0.000 claims description 47
- 238000005516 engineering process Methods 0.000 description 40
- 230000001360 synchronised effect Effects 0.000 description 31
- 230000011664 signaling Effects 0.000 description 27
- VKALYYFVKBXHTF-UHFFFAOYSA-N 4-(methylsulfanyl)-m-cresol Chemical compound CSC1=CC=C(O)C=C1C VKALYYFVKBXHTF-UHFFFAOYSA-N 0.000 description 21
- 230000033001 locomotion Effects 0.000 description 21
- 230000014759 maintenance of location Effects 0.000 description 21
- 230000005236 sound signal Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 238000007726 management method Methods 0.000 description 17
- 230000015572 biosynthetic process Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 108700032487 GAP-43-3 Proteins 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本明細書で開示する技術は、放送番組の映像にオーバーレイして表示する情報を送信する送信装置及び送信方法、並びに、放送番組の映像にオーバーレイして表示する情報を受信し表示する受信装置及び受信方法に関する。 The technology disclosed in this specification provides a transmitting device and a transmitting method for transmitting information to be overlaid and displayed on a video of a broadcast program, and a receiving device and a transmitting method for receiving and displaying information to be overlaid and displayed on a video of a broadcast program. Regarding the reception method.
メディア・トランスポート方式にＭＰＥＧ２－ＴＳを採用したディジタル放送サービスが世界各国で運用されている。また、次世代のディジタル放送規格では、ＭＰＥＧ２－ＴＳから、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）方式への変更が検討されている（例えば、特許文献１を参照のこと）。ＭＭＴ方式では、異なる伝送路の組み合わせで利用することが容易であり、放送や通信の複数の伝送路に共通に用いることができる。 Digital broadcasting services that use MPEG2-TS as the media transport method are being operated in countries around the world. Furthermore, in the next generation digital broadcasting standard, changing from MPEG2-TS to MMT (MPEG Media Transport) system is being considered (see, for example, Patent Document 1). The MMT system can be easily used in combination with different transmission paths, and can be used in common for multiple transmission paths for broadcasting and communications.
ディジタル放送では、データ放送アプリケーションを放送波で伝送して、データ放送アプリケーションを通じてオンエア中の放送番組に連動したさまざまな情報を提供することができる。例えば、番組のビデオ・データとともに、ビデオ・フレームに表示する注釈データを放送する放送システムについて提案がなされている（例えば、特許文献２を参照のこと）。 In digital broadcasting, data broadcasting applications are transmitted via broadcast waves, and various information linked to on-air broadcast programs can be provided through the data broadcasting applications. For example, a proposal has been made for a broadcasting system that broadcasts annotation data to be displayed on video frames together with video data of a program (see, for example, Patent Document 2).
また、放送番組の任意の区間毎に動画の内容を反映したナビゲーション情報を設ける放送システムについて提案がなされている。ナビゲーション情報は、他のコンテンツへのハイパーリンク、ボタン、文字情報などを表す。例えば、世界の旅行案内の放送番組において、紹介中の国に応じた複数のボタンからなるメニューや補足説明を表す複数のナビゲーション情報が設けられる（例えば、特許文献３を参照のこと）。 Further, a proposal has been made for a broadcast system that provides navigation information that reflects the content of a moving image for each arbitrary section of a broadcast program. Navigation information represents hyperlinks to other content, buttons, text information, and the like. For example, in a world travel guide broadcast program, a menu consisting of a plurality of buttons and a plurality of pieces of navigation information representing supplementary explanations are provided depending on the country being introduced (see, for example, Patent Document 3).
本明細書で開示する技術の目的は、放送番組の映像にオーバーレイして表示する情報を送信することができる、優れた送信装置及び送信方法を提供することにある。 An object of the technology disclosed in this specification is to provide an excellent transmission device and transmission method that can transmit information to be overlaid and displayed on a video of a broadcast program.
本明細書で開示する技術のさらなる目的は、放送番組の映像にオーバーレイして表示する情報を受信し表示することができる、優れた受信装置及び受信方法を提供することにある。 A further object of the technology disclosed in this specification is to provide an excellent receiving device and receiving method that can receive and display information to be overlaid on a video of a broadcast program.
本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
映像を含む放送信号を送信する送信部と、
前記映像の動きに同期して移動するオブジェクトを表示するためのデータを送信するデータ送信部と、
を具備する送信装置である。
The technology disclosed in this specification has been made in consideration of the above problems, and the first aspect thereof is:
a transmitter that transmits a broadcast signal including video;
a data transmitter that transmits data for displaying an object that moves in synchronization with the movement of the video;
A transmitting device comprising:
本明細書で開示する技術の第２の側面によれば、第１の側面に係る送信装置の前記データ送信部は、前記オブジェクトの画面上の位置及びサイズと、前記オブジェクトの表示データに関する情報を含む前記データを送信するように構成されている。 According to a second aspect of the technology disclosed in this specification, the data transmitting unit of the transmitting device according to the first aspect transmits information regarding the position and size of the object on the screen and display data of the object. and configured to transmit said data containing.
本明細書で開示する技術の第３の側面によれば、第１の側面に係る送信装置の前記データ送信部は、前記データの表示時刻を示すタイムスタンプとともに、前記データを間欠的に送信するように構成されている。 According to a third aspect of the technology disclosed in this specification, the data transmitting unit of the transmitting device according to the first aspect intermittently transmits the data along with a timestamp indicating the display time of the data. It is configured as follows.
本明細書で開示する技術の第４の側面によれば、第１の側面に係る送信装置の前記データ送信部は、次のタイミングまでの前記オブジェクトの内挿位置を求めるための補間情報を含めて、前記データを間欠的に送信するように構成されている。 According to a fourth aspect of the technology disclosed in this specification, the data transmitting unit of the transmitting device according to the first aspect includes interpolation information for determining the interpolated position of the object up to the next timing. and is configured to transmit the data intermittently.
本明細書で開示する技術の第５の側面によれば、第４の側面に係る送信装置の前記データ送信部は、前記オブジェクトの速度ベクトル情報又は角速度情報のうち少なくとも１つを含む前記補間情報を送信するように構成されている。 According to a fifth aspect of the technology disclosed in this specification, the data transmission unit of the transmission device according to the fourth aspect is configured to transmit the interpolation information including at least one of velocity vector information or angular velocity information of the object.
本明細書で開示する技術の第６の側面によれば、第１の側面に係る送信装置の前記データ送信部は、前記オブジェクトのリンク先情報を含めて前記データを送信するように構成されている。 According to a sixth aspect of the technology disclosed in this specification, the data transmitting unit of the transmitting device according to the first aspect is configured to transmit the data including link destination information of the object. There is.
本明細書で開示する技術の第７の側面によれば、第１の側面に係る送信装置の前記データ送信部は、前記オブジェクトの画面上の位置及びサイズと表示データの参照先を所定の形式で記述した文書ファイルを送信するように構成されている。 According to a seventh aspect of the technology disclosed in this specification, the data transmitting unit of the transmitting device according to the first aspect converts the position and size of the object on the screen and the reference destination of display data into a predetermined format. It is configured to send document files written in .
本明細書で開示する技術の第８の側面によれば、第７の側面に係る送信装置の前記データ送信部は、前記文書ファイルと前記文書ファイルから参照される表示データのファイルをパッケージ化して、パッケージ単位で送信するように構成されている。 According to an eighth aspect of the technology disclosed in this specification, the data transmitting unit of the transmitting device according to the seventh aspect packages the document file and a file of display data referenced from the document file. , configured to be sent in packages.
本明細書で開示する技術の第９の側面によれば、第８の側面に係る送信装置の前記データ送信部は、前記パッケージに含める各表示データの保持の要否及び保持期限を指定して送信するように構成されている。 According to a ninth aspect of the technology disclosed in this specification, the data transmitting unit of the transmitting device according to the eighth aspect specifies whether or not to retain each display data included in the package and a retention period. configured to send.
本明細書で開示する技術の第１０の側面によれば、第９の側面に係る送信装置の前記データ送信部は、他の文書ファイルとともにパッケージ化して送信された表示データのファイルを参照する前記文書ファイルをさらに送信するように構成されている。 According to the tenth aspect of the technology disclosed in this specification, the data transmitting unit of the transmitting device according to the ninth aspect refers to the display data file packaged and transmitted with other document files. Configured to send further document files.
また、本明細書で開示する技術の第１１の側面に係る技術は、
映像を含む放送信号を送信する送信ステップと、
前記映像の動きに同期して移動するオブジェクトを表示するためのデータを送信するデータ送信ステップと、
を有する送信方法である。
Further, the technology according to the eleventh aspect of the technology disclosed in this specification is
a transmitting step of transmitting a broadcast signal including video;
a data transmitting step of transmitting data for displaying an object that moves in synchronization with the movement of the video;
This is a transmission method having the following.
また、本明細書で開示する技術の第１２の側面に係る技術は、
映像を含む放送信号を受信する受信部と、
前記映像の動きに同期して移動するオブジェクトを表示するためのデータを受信するデータ受信部と、
受信した前記データに基づいて、放送映像の画面上に前記オブジェクトを表示するための処理を実行する制御部と、
を具備する受信装置である。
Further, the technology according to the twelfth aspect of the technology disclosed in this specification is
a receiving unit that receives a broadcast signal including video;
a data receiving unit that receives data for displaying an object that moves in synchronization with the movement of the video;
a control unit that executes processing for displaying the object on a broadcast video screen based on the received data;
This is a receiving device comprising:
本明細書で開示する技術の第１３の側面によれば、第１２の側面に係る受信装置の前記データ受信部は、前記オブジェクトの画面上の位置及びサイズと、前記オブジェクトの表示データに関する情報を含む前記データを受信し、前記制御部は、前記データで指定された画面上の位置及びサイズに前記オブジェクトの表示データを表示させるように構成されている。 According to a thirteenth aspect of the technology disclosed in this specification, the data receiving unit of the receiving device according to the twelfth aspect receives information regarding the position and size of the object on the screen and display data of the object. The control unit is configured to receive the data including the object, and display the display data of the object at a position and size on the screen specified by the data.
本明細書で開示する技術の第１４の側面によれば、第１２の側面に係る受信装置の前記データ受信部は、前記データの表示時刻を示すタイムスタンプとともに、前記データを間欠的に受信し、前記制御部は、前記タイムスタンプが指定する表示時刻に基づいて前記オブジェクトの表示タイミングを制御するように構成されている。 According to the fourteenth aspect of the technology disclosed in this specification, the data receiving unit of the receiving device according to the twelfth aspect intermittently receives the data together with a timestamp indicating the display time of the data. , the control unit is configured to control display timing of the object based on a display time specified by the timestamp.
本明細書で開示する技術の第１５の側面によれば、第１４の側面に係る受信装置の前記データ受信部は、次のタイミングまでの前記オブジェクトの内挿位置を求めるための補間情報を含めて、前記データを間欠的に受信し、前記制御部は、前記補間情報に基づいて求まる内挿位置に前記オブジェクトを表示させるように構成されている。 According to a fifteenth aspect of the technology disclosed in this specification, the data receiving unit of the receiving device according to the fourteenth aspect includes interpolation information for determining the interpolation position of the object up to the next timing. The control unit is configured to receive the data intermittently, and display the object at an interpolation position determined based on the interpolation information.
本明細書で開示する技術の第１６の側面によれば、第１２の側面に係る受信装置の前記データ受信部は、前記オブジェクトの画面上の位置及びサイズと表示データの参照先を所定の形式で記述した文書ファイルを受信するように構成されている。 According to a sixteenth aspect of the technology disclosed in this specification, the data receiving unit of the receiving device according to the twelfth aspect sets the position and size of the object on the screen and the reference destination of display data in a predetermined format. It is configured to receive document files written in .
本明細書で開示する技術の第１７の側面によれば、第１６の側面に係る受信装置の前記データ受信部は、前記文書ファイルと前記文書ファイルから参照される表示データのファイルからなるパッケージ単位で受信するように構成されている。 According to a seventeenth aspect of the technology disclosed in this specification, the data receiving unit of the receiving device according to the sixteenth aspect includes a package unit including the document file and a file of display data referenced from the document file. is configured to receive.
本明細書で開示する技術の第１８の側面によれば、第１７の側面に係る受信装置の前記データ受信部は、各表示データの保持の要否及び保持期限が指定された前記パッケージを受信し、前記制御部は、前記保持期限が経過するまで表示データを保持するように構成されている。 According to the eighteenth aspect of the technology disclosed in this specification, the data receiving unit of the receiving device according to the seventeenth aspect receives the package in which the necessity and retention period of each display data is specified. However, the control unit is configured to retain the display data until the retention period expires.
本明細書で開示する技術の第１９の側面によれば、第１８の側面に係る受信装置の前記データ受信部は、他の文書ファイルとともにパッケージ化して送信された表示データのファイルを参照する前記文書ファイルをさらに受信し、前記制御部は、前記文書ファイルから参照される、他の文書ファイルとともにバッケージ化して送信された表示データを用いてオブジェクトを表示させるように構成されている。 According to the nineteenth aspect of the technology disclosed in this specification, the data receiving unit of the receiving device according to the eighteenth aspect refers to the display data file packaged and transmitted with other document files. The control unit is configured to further receive a document file, and display the object using display data referenced by the document file and transmitted in a package together with other document files.
また、本明細書で開示する技術の第２０の側面に係る技術は、
映像を含む放送信号を受信する受信ステップと、
前記映像の動きに同期して移動するオブジェクトを表示するためのデータを受信するデータ受信ステップと、
受信した前記データに基づいて、放送映像の画面上に前記オブジェクトを表示するための処理を実行する制御ステップと、
を有する受信方法である。
Further, the technology according to the twentieth aspect of the technology disclosed in this specification is:
a receiving step of receiving a broadcast signal including video;
a data receiving step of receiving data for displaying an object that moves in synchronization with the movement of the video;
a control step of executing processing for displaying the object on a broadcast video screen based on the received data;
This is a reception method that has the following.
本明細書で開示する技術によれば、放送番組の映像の動きに合わせてオーバーレイ表示するオブジェクトの表示情報を、映像と時刻同期して送信することができる、優れた送信装置及び送信方法を提供することができる。 According to the technology disclosed in this specification, an excellent transmitting device and method are provided that can transmit display information of an object to be overlay-displayed in accordance with the movement of a broadcast program video in time synchronization with the video. can do.
また、本明細書で開示する技術によれば、放送信号と時刻同期してオブジェクトの表示情報を受信して、映像の動きに合わせてオブジェクトをオーバーレイ表示することができる、優れた受信装置及び受信方法を提供することができる。 Further, according to the technology disclosed in this specification, an excellent receiving device and receiver capable of receiving display information of an object in time synchronization with a broadcast signal and displaying an object as an overlay in accordance with the movement of a video. method can be provided.
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。 Note that the effects described in this specification are merely examples, and the effects of the present invention are not limited thereto. Further, the present invention may have additional effects in addition to the above-mentioned effects.
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。 Further objects, features, and advantages of the technology disclosed in this specification will become clear from a more detailed description based on the embodiments described below and the accompanying drawings.
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。 Hereinafter, embodiments of the technology disclosed in this specification will be described in detail with reference to the drawings.
Ａ．システム構成
図１には、ディジタル放送システム１０の構成例を模式的に示している。図示のディジタル放送システム１０は、放送送出システム１１と、受信機１２で構成される。
A. System Configuration FIG. 1 schematically shows a configuration example of a
放送送出システム１１は、放送信号の伝送にＭＭＴ方式を適用しており、放送サービスを構成する各コンポーネントをＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）パケットにして伝送する。具体的には、放送送出システム１１は、放送番組の映像信号や音声信号の符号、並びに、放送番組に関連するコンテンツ（データ放送アプリケーションなど）や字幕の信号を、ＭＭＴＰ（ＭＭＴ Ｐｒｏｔｏｃｏｌ）ペイロードに乗せてＭＭＴＰパケット化し、さらにＩＰパケット化し、放送伝送路ではＴＬＶ（Ｔｙｐｅ Ｌｅｎｇｔｈ Ｖａｌｕｅ）パケットの形式で伝送する。ここで、映像や音声、字幕などの放送番組本体に関わるコンポーネントは、同期型（Ｔｉｍｅｄ）メディアである。また、コンテンツ、すなわちＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）５形式などで符号化されるデータ放送アプリケーションは、非同期型（Ｎｏｎ－Ｔｉｍｅｄ）メディアである。
The
また、放送送出システム１１は、同期型及び非同期型のメディアを伝送する放送サービスに関する制御情報であるＭＭＴ－ＳＩのシグナリング（通知）も行なう。ＭＭＴ－ＳＩには、メッセージ、テーブル、記述子（ｄｅｓｃｒｉｐｔｏｒ）がある。テーブルは、メッセージをコンテナーとして伝送される。メッセージやテーブルで示すパラメーターの一部は記述子の形式で記述される。
The
一方、受信機１２は、放送送出システム１１から放送伝送路で送られてくるＴＬＶパケットを受信する。受信機１２は、そして、受信機１２は、受信パケットから映像や音声、字幕などの放送番組を構成する同期型の伝送メディアを復号して、画像や音声、字幕を提示する。また、受信機１２は、受信パケットからデータ放送用の各データ・ファイルを取得すると、ＨＴＭＬブラウザーなどのアプリケーション・エンジンを起動して、放送番組に連動したデータ放送を、ＴＶ番組の映像を表示するスクリーンの一部又は全部の領域に表示する。
On the other hand, the
また、受信機１２は、放送サービスに関する制御情報であるＭＭＴ－ＳＩも受信する。受信機１２は、ＭＭＴ－ＳＩに基づいて、映像や音声、字幕、データ放送などの伝送メディアの受信制御や受信機１２上での出力（表示、音声出力）制御を行なう。
The
図２には、ＭＭＴ方式を用いるディジタル放送システム１０におけるプロトコル・スタック２００を示している。
FIG. 2 shows a protocol stack 200 in the
１つの放送サービスは、映像２０１、音声２０２、字幕２０３、アプリケーション２０４、コンテンツ・ダウンロード２０５の各コンポーネントで構成される。映像２０１はＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）形式で符号化２１１され、音声２０２はＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式で符号化２１２され、字幕２０３は字幕符号化２１３される。また、アプリケーション２０４は、ＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）を含むが、例えばＨＴＭＬ５形式で符号化２１４される。
One broadcasting service is composed of the following components:
ＭＭＴレイヤー２２０上では、放送番組の映像信号及び音声信号の符号化コンポーネント２１１、２１２は、ＭＦＵ（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）及びＭＰＵ（Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とし、ＭＭＴＰペイロードに乗せてＭＭＴＰパケット化される。また、放送番組の字幕信号や放送番組に関連するアプリケーション（データ・コンテンツ）符号化コンポーネント２１３、２１４についても、ＭＦＵ及びＭＰＵとし、ＭＭＴＰペイロードに乗せてＭＭＴＰパケット化される。また、メディア・トランスポート方式であるＭＭＴに関わる（放送番組の構成などを示す）制御情報であるＭＭＴ－ＳＩ２２１も、ＭＭＴＰペイロードに乗せてＭＭＴＰパケット化される。ＭＭＴに関わる制御情報ＭＭＴ－ＳＩの詳細については、後述に譲る。ＭＰＵは処理の単位となり、ＭＦＵはＭＰＵよりも小さな単位である。なお、コンテンツ・ダウンロード２０５のデータ伝送方式２１５として、字幕・文字スーパー伝送方式、アプリケーション伝送方式、イベント・メッセージ伝送方式、汎用データ伝送方式の４種類が挙げられる。このうち、アプリケーション伝送方式は、放送番組と非同期のデータ伝送サービスに用いられる。また、汎用データ伝送方式は、各種データを同期型又は非同期型により伝送する方式であり、映像、音声、字幕以外のデータの提示を行なうプレイヤーで利用するデータやマルチメディア・サービスで利用するデータのストリーミングに適用することができる。
On the
ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰレイヤー５３０では、ＭＭＴＰパケットはＩＰパケット化される。また、同期型メディアのための現在時刻の情報を含むＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）パケット２０６も、ＩＰパケット化される。さらに、これらのＩＰパケットは、ＴＬＶレイヤー２４０でＴＬＶパケット化され、最下層の物理レイヤーである放送伝送路２５０で伝送される。また、ＩＰパケットの多重のためのＴＬＶ多重化形式に関わるＴＬＶ－ＳＩ２４１も、ＴＬＶパケット化され、放送伝送路２５０で伝送される。ＴＬＶパケットを多重した伝送スロットは、伝送路のＴＭＣＣ（Ｔｒａｎｓｍｉｓｓｉｏｎ ａｎｄ Ｍｕｌｔｉｐｌｅｘｉｎｇ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｃｏｎｔｒｏｌ）信号２５１から、ＴＬＶストリーム識別情報（ＴＬＶ＿ｓｔｒｅａｍ＿ｉｄ）を用いて特定される。
At the UDP (User Datagram Protocol)/IP layer 530, the MMTP packet is converted into an IP packet. Further, an NTP (Network Time Protocol) packet 206 containing current time information for synchronous media is also converted into an IP packet. Further, these IP packets are converted into TLV packets at the
図３には、図２に示すようなプロトコル・スタック構造の放送信号を送信する放送送出システム１１の構成例を示している。図示の放送送出システム１１は、時計部３０１と、信号送出部３０２と、ビデオ・エンコーダー３０３と、オーディオ・エンコーダー３０４と、字幕／文字スーパー・エンコーダー３０５と、シグナリング・エンコーダー３０６と、ファイル・エンコーダー３０７と、電子データ処理システム（Ｅｌｅｃｔｒｏｎｉｃ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍ：ＥＤＰＳ）３０８と、ＴＬＶシグナリング・エンコーダー３０９と、ＩＰサービス・マルチプレクサー（ＭＵＸ）３１０と、ＴＬＶマルチプレクサー（ＭＵＸ）３１１と、変調・送信部３１２を備えている。
FIG. 3 shows a configuration example of a
時計部３０１は、ＮＴＰサーバー（図示しない）から取得した時刻情報に同期した時刻情報を生成し、この時刻情報を含むＩＰパケットをＩＰサービス・マルチプレクサー３１０に送る。
The
信号送出部３０２は、例えばＴＶ放送局のスタジオやＶＴＲなどの記録再生機であり、同期型メディアである映像、音声、字幕及び文字スーパーなどのストリーム・データを、それぞれビデオ・エンコーダー３０３、オーディオ・エンコーダー３０４、字幕／文字スーパー・エンコーダー３０５に送る。また、信号送出部３０２は、非同期型メディアであるデータ放送アプリケーションや、同期型並びに非同期型の汎用データを、ファイル・エンコーダー３０７に送る。 The signal transmission unit 302 is a recording/playback device such as a studio of a TV broadcasting station or a VTR, and transmits stream data such as synchronous media such as video, audio, subtitles, and superimposed text to a video encoder 303 and an audio/video recorder, respectively. It is sent to an encoder 304 and a subtitle/text encoder 305. Further, the signal sending unit 302 sends a data broadcasting application, which is asynchronous media, and general-purpose data, both synchronous and asynchronous, to the file encoder 307 .
電子データ処理システム３０８は、ＴＶ放送局のスケジューラー並びにファイルの供給源である。電子データ処理システム３０８は、非同期型メディアであるデータ放送アプリケーションや、同期型並びに非同期型の汎用データを、ファイル・エンコーダー３０７に送る。また、電子データ処理システム３０８は、放送サービスの構成などを示す制御情報をシグナリング・エンコーダー３０６に送る。また、電子データ処理システム３０８は、ＩＰパケットの多重に関する制御情報をＴＬＶシグナリング・エンコーダー３０９に送る。
Electronic
ビデオ・エンコーダー３０３は、信号送出部３０２から送出される映像信号をＨＥＶＣ符号化し、さらにパケット化して、映像信号のＭＭＴパケットを含むＩＰパケットをＩＰサービス・マルチプレクサー３１０に送る。また、オーディオ・エンコーダー３０４は、信号送出部３０２から送出される音声信号をＡＡＣ符号化し、さらにパケット化して、音声信号のＭＭＴパケットを含むＩＰパケットをＩＰサービス・マルチプレクサー３１０に送る。また、字幕／文字スーパー・エンコーダー３０５は、信号送出部３０２から送出される字幕信号及び文字スーパー信号を符号化し、さらに提示処理の単位でＭＰＵを生成して、字幕のＭＭＴパケットを含むＩＰパケットをＩＰサービス・マルチプレクサー３１０に送る。
Video encoder 303 performs HEVC encoding on the video signal sent from signal sending unit 302 , further packetizes the video signal, and sends IP packets containing MMT packets of the video signal to
放送送出システム１１が複数の放送サービスを送信する場合、放送サービス毎に映像信号のＨＥＶＣ符号化、音声信号のＡＡＣ符号化、及び字幕／文字スーパーの符号化処理が行なわれ、それぞれの放送サービス＃１～＃Ｎに対応するＩＰサービス・マルチプレクサー３１０－１、…、３１０－Ｎに送られる。
When the
シグナリング・エンコーダー３０６は、電子データ処理システム３０８から送出される情報に基づいて、放送信号の構成などを示す制御情報（ＭＭＴ－ＳＩ）を生成し、ペイロード部にＭＭＴ－ＳＩが配置されたＭＭＴパケットを含むＩＰパケットをＩＰサービス・マルチプレクサー３１０に送る。ＭＭＴ－ＳＩには、メッセージ、テーブル、記述子がある（前述）。シグナリング・エンコーダー３０６は、放送サービス単位のＭＭＴ－ＳＩを生成する他、放送サービス横断のＭＭＴ－ＳＩを生成する。
The signaling encoder 306 generates control information (MMT-SI) indicating the configuration of the broadcast signal based on the information sent from the electronic
ファイル・エンコーダー３０７は、信号送出部３１０２又は電子データ処理システム３０８から送出されるＨＴＭＬ５形式のデータ放送アプリケーションや、データ放送アプリケーションなどで利用する汎用データを符号化し、さらにパケット化して、このＭＭＴパケットを含むＩＰパケットをＩＰサービス・マルチプレクサー３１０に送る。
The file encoder 307 encodes the HTML5 format data broadcasting application sent from the signal sending unit 3102 or the electronic
放送送出システム１１は、送出する放送サービス（放送チャンネル）＃１～＃Ｎ毎に、複数のＩＰサービス・マルチプレクサー３１０―１、…、３１０－Ｎを装備する。放送サービス毎のチャンネルのＩＰサービス・マルチプレクサー３１０は、各エンコーダー３０３～３０７から送られてくる映像、音声、字幕、（放送サービス単位）ＭＭＴ－ＳＩ、データ放送アプリケーション、汎用データの各々を含むＩＰパケットをマルチプレクスして、放送サービス単位の放送信号、並びに、放送サービス横断のＭＭＴ－ＳＩを含んだＴＬＶパケットを生成する。
The
ＴＬＶシグナリング・エンコーダー３０９は、電子データ処理システム３０８から送出される情報に基づいて、上記のＩＰパケットの多重に関する制御情報（ＴＬＶ－ＳＩ）をペイロード部に配置するＴＬＶパケットを生成する。
Based on the information sent from the electronic
ＴＬＶマルチプレクサー３１１は、各ＩＰサービス・マルチプレクサー３１０－１～３１０－Ｎ及びＴＬＶシグナリング・エンコーダー３０９でそれぞれ生成されるＴＬＶパケットをマルチプレクスして、ＴＬＶストリーム識別情報で識別されるＴＬＶストリームを生成する。
The
変調・送信部３１２は、ＴＬＶマルチプレクサー３１１で生成されたＴＬＶストリームに対してＲＦ変調処理を行なって、放送伝送路に送出する。
The modulation/
図３に示した放送送出システム１１の動作について説明しておく。
The operation of the
信号送出部３０２から送出される映像信号は、ビデオ・エンコーダー３０３に供給される。ビデオ・エンコーダー３０３では、映像信号がＨＥＶＣ符号化され、さらにパケット化されて、ＨＥＶＣ符号化映像信号のＭＭＴパケットを含むＩＰパケットが生成される。このＩＰパケットは、ＩＰサービス・マルチプレクサー３１０に送られる。
The video signal sent from the signal sending section 302 is supplied to a video encoder 303. In the video encoder 303, the video signal is HEVC encoded and further packetized to generate IP packets including MMT packets of the HEVC encoded video signal. This IP packet is sent to
また、信号送出部３０２から送出される音声信号並びに字幕及び文字スーパー信号に対しても、同様の処理が行なわれる。すなわち、オーディオ・エンコーダー３０４で生成されるＡＡＣ符号化音声信号のＭＭＴパケットを含むＩＰパケットがＩＰサービス・マルチプレクサー３１０に送られるとともに、字幕／文字スーパー・エンコーダー３０５で生成される字幕符号化信号のＭＭＴパケットを含むＩＰパケットがＩＰサービス・マルチプレクサー３１０に送られる。
Further, similar processing is performed on the audio signal and the subtitle and superimposed text signals sent from the signal sending unit 302. That is, the IP packet containing the MMT packet of the AAC encoded audio signal generated by the audio encoder 304 is sent to the
また、シグナリング・エンコーダー３０６では、電子データ処理システム３０８から送出される情報に基づいて放送信号の構成などを示す制御情報（ＭＭＴ－ＳＩ）が生成され、ペイロード部にこのＭＭＴ－ＳＩが配置されたＭＭＴパケットを含むＩＰパケットが生成される。これらのＩＰパケットは、ＩＰサービス・マルチプレクサー３１０に送られる。
Furthermore, the signaling encoder 306 generates control information (MMT-SI) indicating the configuration of the broadcast signal based on the information sent from the electronic
また、信号送出部３０２又は電子データ処理システム３０８から送出されるデータ放送アプリケーションや、データ放送アプリケーションなどで利用する汎用データは、ファイル・エンコーダー３０７に供給される。ファイル・エンコーダー３０７では、ＨＴＭＬ５形式のデータ放送アプリケーションや汎用データが符号化され、さらにパケット化され、このＭＭＴパケットを含むＩＰパケットが生成される。このＩＰパケットは、ＩＰサービス・マルチプレクサー３１０に送られる。
Further, data broadcasting applications sent from the signal sending unit 302 or the electronic
各ＩＰサービス・マルチプレクサー３１０－１、…、３１０－Ｎでは、各エンコーダー３０３～３０７から送られてくる映像、音声、字幕、（放送サービス単位及びサービス横断の）ＭＭＴ－ＳＩ、データ放送アプリケーション（ＨＴＭＬ５文書）、汎用データの各々を含むＩＰパケットがマルチプレクスされて、１つのチャンネルを構成するＴＬＶパケットが生成される。 In each IP service multiplexer 310-1, ..., 310-N, video, audio, subtitles sent from each encoder 303 to 307, MMT-SI (for each broadcasting service and across services), data broadcasting application ( HTML5 documents) and general-purpose data are multiplexed to generate TLV packets constituting one channel.
ＴＬＶシグナリング・エンコーダー３０９では、電子データ処理システム３０８から送出される情報に基づいて、上記のＩＰパケットの多重に関する制御情報（ＴＬＶ－ＳＩ）をペイロード部に配置するＴＬＶパケットが生成される。
Based on the information sent from the electronic
ＴＬＶマルチプレクサー３１１では、各ＩＰサービス・マルチプレクサー３１０－１～３１０－Ｎ及びＴＬＶシグナリング・エンコーダー３０９で生成されるＴＬＶパケットがマルチプレクスされて、ＴＬＶストリームが生成される。変調・送信部３１２では、ＴＬＶマルチプレクサー３１１で生成されたＴＬＶストリームに対してＲＦ変調処理が行なわれ、そのＲＦ変調信号が放送伝送路に送出される。
The
図４には、放送送出システム１１からの放送信号を受信する受信機１２の構成例を示している。図示の受信機１２は、チューナー・復調部４０１と、ＭＭＴデマルチプレクサー（ＤＥＭＵＸ）４０２と、時計回復部４０３と、ビデオ・デコーダー４０４と、オーディオ・デコーダー４０５と、文字スーパー・デコーダー４０６と、字幕デコーダー４０７と、マルチメディア（ＭＭ）キャッシュ４０８と、ＳＩキャッシュ４０９と、放送システム制御部４１０と、アプリケーション（Ａｐｐ）・エンジン４１１と、通信インターフェース（ＩＦ）４１２と、スケーラー４１４と、合成部４１５～４１８を備えている。
FIG. 4 shows a configuration example of the
チューナー・復調部４０１は、放送信号を選局受信し、復調処理を行なって、ＴＬＶストリームを得る。ＭＭＴデマルチプレクサー４０２は、このＴＬＶストリームに対して、デマルチプレクス処理及びデパケット化処理を行なう。デマルチプレクサー４０２は、パケット・フィルター４０２－１とＳＩフィルター４０２－２を備えている。
A tuner/
パケット・フィルター４０２－１は、ＴＬＶストリーム識別情報及びＩＰアドレスに基づいてＩＰパケットのフィルタリングを行ない、さらにＭＭＴＰヘッダー内の情報に基づいて、ＩＰパケットからＭＭＴＰパケットをフィルタリングして、映像、音声、文字スーパー並びに字幕といった同期型伝送メディアを、それぞれビデオ・デコーダー４０４、オーディオ・デコーダー４０５、文字スーパー・デコーダー４０６、字幕デコーダー４０７に振り分ける。また、パケット・フィルター４０２－１は、マルチメディア（データ放送アプリケーション）や汎用データの各符号化コンポーネントを、マルチメディア（ＭＭ）キャッシュ４０８に振り分ける。また、パケット・フィルター４０２－１は、シグナリング情報を乗せたＭＭＴＰパケットを、ＳＩフィルター４０２－２に振り分ける。そして、ＳＩフィルター４０２－２は、シグナリング情報ＳＩをフィルタリングして、ＳＩキャッシュ４１０にキャッシュする。
The packet filter 402-1 filters IP packets based on TLV stream identification information and IP addresses, and further filters MMTP packets from IP packets based on information in the MMTP header, and filters video, audio, and text. Synchronous transmission media such as superimposes and subtitles are distributed to a video decoder 404, an
時計回復部４０３は、ＭＭＴデマルチプレクサー４０２内のパケット・フィルター４０２－１でフィルタリングされたＮＴＰパケットに含まれる現在時刻の情報に基づいて、この時刻情報に同期した時刻情報を生成して、各同期型伝送メディアをデコードするにビデオ・デコーダー４０４、オーディオ・デコーダー４０５、文字スーパー・デコーダー４０６、字幕デコーダー４０７にそれぞれ出力する。
The clock recovery unit 403 generates time information synchronized with this time information based on the current time information included in the NTP packet filtered by the packet filter 402-1 in the
ビデオ・デコーダー４０４は、ＭＭＴデマルチプレクサー４０２で得られる符号化映像信号をデコードして、ベースバンドの映像信号を得る。また、オーディオ・デコーダー４０５は、ＭＭＴデマルチプレクサー４０２で得られる符号化音声信号をデコードして、ベースバンドの音声信号を得る。また、文字スーパー・デコーダー４０６並びに字幕デコーダー４０７は、ＭＭＴデマルチプレクサー４０２で得られる文字スーパー及び字幕符号化信号をそれぞれデコードして、文字スーパー及び字幕の表示信号をそれぞれ得る。
A video decoder 404 decodes the encoded video signal obtained by the
放送システム制御部４１０は、ＳＩキャッシュ４０９にキャッシュされているＭＭＴ－ＳＩに基づいて、受信機１２全体の放送サービス受信動作を制御する。例えば、放送システム制御部４１０は、ＭＭＴ－ＳＩに含まれるアプリケーションの実行制御情報（ＭＨ－ＡＩＴ）を解析して、起動が指示されているデータ放送アプリケーションを見つけると、アプリケーション・エンジン４１１に対してデータ放送の提示処理を指示する。
The broadcast system control unit 410 controls the broadcast service reception operation of the
アプリケーション・エンジン４１１は、例えばＨＴＭＬブラウザーなどであり、マルチメディア・キャッシュ４０８にキャッシュされているデータ放送アプリケーション（ＨＴＭＬ５文書など）の処理を行なって、データ放送の表示信号並びに音声信号を生成する。また、アプリケーション・エンジン４１１は、データ放送の表示に必要なデータ・ファイル（データ放送の表示に使用するメディア・データや、リンク先のアプリケーションなど）を、通信インターフェース４１２経由でＩＰネットワークから取得することもできる。
The
また、本実施形態では、データ放送アプリケーションで利用する汎用データがストリーミングされることを想定している。アプリケーション・エンジン４１１は、ストリーミングされる汎用データを取得して、アプリケーションの表示に反映させる。
Further, in this embodiment, it is assumed that general-purpose data used in a data broadcasting application is streamed. The
スケーラー４１４は、ビデオ・デコーダー４０４でデコードされた映像信号（放送映像）を、受信機１２の画面サイズに応じてスケーリング処理する。
The scaler 414 scales the video signal (broadcast video) decoded by the video decoder 404 according to the screen size of the
合成部４１５は、オーディオ・デコーダー４０５でデコードされた音声信号と、アプリケーション・エンジン４１１が再生したデータ放送用の音声信号を合成して、出力用の音声信号を生成する。
The
合成部４１６は、文字スーパー・デコーダー４２０６がデコードした文字スーパー表示と、字幕デコーダー４０７がデコードした字幕表示を合成する。また、合成部４１７は、スケーラー４１４でスケーリング処理された放送映像と、アプリケーション・エンジン４１１が生成したデータ放送の表示信号を合成する。さらに後段の合成部４１８は、データ放送の表示が重畳された放送映像と、合成部４１６から出力される文字スーパー表示及び字幕表示とを合成して、出力用の映像信号を生成する。
The synthesizing
図４に示した受信機１２の動作について説明しておく。
The operation of the
チューナー・復調部４０１では、放送信号が受信され、復調処理が行なわれて、ＴＬＶストリームが得られる。ＭＭＴデマルチプレクサー４０２では、このＴＬＶストリームに対して、デマルチプレクス処理及びでパケット化処理を行なわれ、ＮＴＰ時刻情報、映像、音声、文字スーパー及び字幕、データ放送アプリケーション、汎用データの各符号化信号、並びに、シグナリング情報が抽出され、ビデオ・デコーダー４０４、オーディオ・デコーダー４０５、文字スーパー・デコーダー４０６、字幕デコーダー４０７、マルチメディア（ＭＭ）キャッシュ４０８、ＳＩフィルター４０２－１にそれぞれ振り分けられる。
A tuner/
また、デマルチプレクサー４０２で抽出されたＮＴＰパケットは、時計回復部４０３に振り分けられる。時計回復部４０３では、ＮＴＰパケットに載せられた時刻情報に基づいて、この時刻情報に同期した時刻情報が生成される。つまり、時計回復部４０３では、放送送出システム１１側の時計部４０１で生成された時刻情報に合った時刻情報が生成される。生成された時刻情報は、各同期型伝送メディアをデコードするにビデオ・デコーダー４０４、オーディオ・デコーダー４０５、文字スーパー・デコーダー４０６、字幕デコーダー４０７にそれぞれ出力される。
Further, the NTP packet extracted by the
ＭＭＴデマルチプレクサー４０２で抽出された符号化映像信号は、ビデオ・デコーダー４０４に送られてデコードされ、ベースバンドの映像信号が得られる。デマルチプレクサー４０２で抽出された文字スーパー符号化信号は文字スーパー・デコーダー４０６に送られてデコードされ、文字スーパーの表示信号が得られる。また、デマルチプレクサー４０２で抽出された字幕符号化信号は字幕デコーダー４０７に送られてデコードされ、字幕の表示信号が得られる。
The encoded video signal extracted by the
放送システム制御部４１０では、ＳＩフィルター４０２－２並びにＳＩキャッシュ４０９を介して受け取るＭＭＴ－ＳＩに基づいて、データ放送アプリケーションの処理を始め受信機１２による受信処理動作全体が制御される。
The broadcasting system control unit 410 controls the entire reception processing operation of the
アプリケーション・エンジン４１１では、マルチメディア・キャッシュ４０８にキャッシュされているデータ放送アプリケーション（ＨＴＭＬ５文書など）の処理が行なわれ、データ放送の表示信号並びに音声信号が生成される。また、本実施形態では、データ放送アプリケーションで利用する汎用データがストリーミングされることを想定している。アプリケーション・エンジン４１１では、取得された汎用データが、アプリケーションの表示に反映される。
The
スケーラー４１４では、ビデオ・デコーダー４０４でデコードされた映像信号（放送映像）のスケーリング処理が行なわれる。また、合成部４１６は、文字スーパー・デコーダー４０６でデコードされた文字スーパー表示と、字幕デコーダー４０７でデコードされた字幕表示が合成される。続いて、合成部４１７では、スケーラー４１４でスケーリング処理された放送映像と、アプリケーション・エンジン４１１で生成されたデータ放送の表示信号が合成される。さらに後段の合成部４１８では、データ放送の表示が重畳された放送映像と、合成部４１６から出力される文字スーパー表示及び字幕表示が合成されて、出力用の映像信号が生成される。
The scaler 414 performs scaling processing on the video signal (broadcast video) decoded by the video decoder 404. Further, the synthesizing
また、合成部４１５では、オーディオ・デコーダー４０５でデコードされた音声信号と、アプリケーション・エンジン４１１で再生されたデータ放送用の音声信号を合成して、出力用の音声信号が生成される。
Furthermore, the
Ｂ．放送信号の構成
図５には、ＭＭＴ方式に従って放送送出システム１１から受信機１２に向けて放送伝送路に送出される放送信号５００のイメージを示している。
B. Configuration of Broadcast Signal FIG. 5 shows an image of a broadcast signal 500 that is transmitted from the
放送信号は、映像、音声、字幕などの放送番組本編に関わる同期型メディアと、データ放送アプリケーションのような非同期型メディアで構成される。ＭＭＴ方式では、これら同期型並びに非同期型メディアを、異なる伝送路の組み合わせで利用することが容易である。図５に示す例では、放送信号５００として、映像、音声、字幕、データ放送アプリケーション、汎用データ、放送サービスに関する制御情報（ＭＭＴ－ＳＩ）など、データのタイプ毎のＭＭＴ伝送路５０１～５０６が利用されている。 Broadcasting signals are composed of synchronous media related to the main broadcast program, such as video, audio, and subtitles, and asynchronous media, such as data broadcasting applications. In the MMT system, these synchronous and asynchronous media can be easily used in combination with different transmission paths. In the example shown in FIG. 5, as the broadcast signal 500, MMT transmission paths 501 to 506 are used for each type of data, such as video, audio, subtitles, data broadcasting applications, general-purpose data, and control information related to broadcasting services (MMT-SI). has been done.
各ＭＭＴ伝送路では、符号化したメディア・データをＭＰＵフォーマットにしてＭＭＴＰパケット化され、ＩＰパケットで伝送される。各ＭＭＴ伝送路は、それぞれ１つのＩＰデータ・フローに相当する。ここで言うＩＰデータ・フローとは、ＩＰヘッダー及びＵＤＰヘッダーの送信元ＩＰアドレス、宛先ＩＰアドレス、ＩＰヘッダーのプロトコル種別、送信元ポート番号、宛先ポート番号の５種類のフィールドの値がすべて同じとなるＩＰパケットの集合である。 In each MMT transmission path, encoded media data is converted into MPU format, converted into MMTP packets, and transmitted as IP packets. Each MMT transmission path corresponds to one IP data flow. The IP data flow referred to here means that all five fields of the IP header and UDP header have the same values: source IP address, destination IP address, IP header protocol type, source port number, and destination port number. This is a set of IP packets.
１つの放送サービスは、映像、音声、字幕、データ放送アプリケーションなど複数のコンポーネントで構成されるパッケージである（但し、１つの放送サービスは、１つのチャンネルすなわち放送番組に対応するものとする）。ＭＭＴ伝送方式では、コンポーネントは「アセット」として定義されている。各アセットは、固有のアセット識別情報（ａｓｓｅｔ＿ｉｄ）で識別される。アセット識別情報は、コンポーネントを識別するコンポーネント・タグと一意に対応する（映像のアセットは映像コンポーネントに対応し、音声のアセットは音声コンポーネントに対応し、字幕のアセットは字幕コンポーネントに対応し、データ放送アプリケーション用のデータ・ファイルのアセットはデータ・ファイルのコンポーネントに対応する）。 One broadcast service is a package composed of a plurality of components such as video, audio, subtitles, and data broadcasting applications (however, one broadcast service corresponds to one channel, that is, a broadcast program). In the MMT transmission system, components are defined as "assets." Each asset is identified with unique asset identification information (asset_id). The asset identification information uniquely corresponds to a component tag that identifies the component (video assets correspond to video components, audio assets correspond to audio components, subtitle assets correspond to subtitle components, data broadcasting Data file assets for an application correspond to data file components).
各アセットは、それぞれ同じアセット識別情報を共有する１又はそれ以上のＭＰＵの集合（論理グループ）で構成される。ＭＰＵは、ＭＭＴ方式における伝送単位となるフォーマットであり、１以上のＭＦＵで構成される。ＭＰＵは、それぞれのアセットに専用のＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）すなわちＭＭＴ伝送路で伝送される。各ＭＰＵは、アセット識別情報と、該当する伝送路上でのＭＰＵのシーケンス番号で特定される。 Each asset is composed of a set (logical group) of one or more MPUs that share the same asset identification information. The MPU is a format that is a transmission unit in the MMT system, and is composed of one or more MFUs. The MPU is transmitted through an ES (Elementary Stream), that is, an MMT transmission path dedicated to each asset. Each MPU is identified by asset identification information and the sequence number of the MPU on the corresponding transmission path.
図５に示す例では、伝送路５０１では、映像信号用として共通のアセット識別情報を持つＭＰＵ論理グループからなる符号化映像信号のＭＭＴＰパケットが伝送される。同様に、伝送路５０２では音声信号用として共通のアセット識別情報を持つＭＰＵ論理グループからなる符号化音声信号のＭＭＴパケットが伝送され、伝送路５０３では字幕信号用としての共通のアセット識別情報を持つＭＰＵグループからなる符号化字幕信号のＭＭＴＰパケットが伝送され、伝送路５０４－１並びに５０４－２ではデータ放送アプリケーション用として共通のアセット識別情報を持つＭＰＵ論理グループからなる符号化アプリケーションのＭＭＴＰパケットが伝送される。また、伝送路５０５では、共通のアセット識別情報を持つＭＰＵグループからなる符号化汎用データ信号のＭＭＴＰパケットとして伝送される。 In the example shown in FIG. 5, the transmission path 501 transmits MMTP packets of encoded video signals made up of MPU logical groups having common asset identification information for video signals. Similarly, the transmission path 502 transmits MMT packets of encoded audio signals made up of MPU logical groups that have common asset identification information for audio signals, and the transmission path 503 transmits MMT packets that have common asset identification information for subtitle signals. MMTP packets of encoded subtitle signals consisting of MPU groups are transmitted, and MMTP packets of encoded applications consisting of MPU logical groups having common asset identification information for data broadcasting applications are transmitted on transmission paths 504-1 and 504-2. be done. Further, on the transmission path 505, the encoded general-purpose data signal is transmitted as an MMTP packet consisting of an MPU group having common asset identification information.
１つのパッケージ（放送サービス）内で、同じタイプのアセットが複数伝送されることもある。図５に示す例では、２つのデータ放送アプリケーションのアセットが、異なるアセット識別番号が割り振られ、それぞれ専用のＥＳすなわちＭＭＴ伝送路５０４－１、５０４－２で伝送される。例えば、一方のＭＭＴ伝送路５０４－１では放送番組に連動する番組連動型データ放送アプリケーションのアセットが伝送され、他方のＭＭＴ伝送路５０４－２では放送番組に連動しない番組非連動型データ放送アプリケーション（例えば、天気予報やニュースなど）のアセットが伝送される。２以上のデリバリー・セグメントからそれぞれ独立してデータ放送アプリケーションのアセットが提供される場合も想定される。 Multiple assets of the same type may be transmitted within one package (broadcasting service). In the example shown in FIG. 5, assets of two data broadcasting applications are assigned different asset identification numbers and are transmitted through dedicated ES, ie, MMT transmission paths 504-1 and 504-2, respectively. For example, one MMT transmission path 504-1 transmits assets of a program-linked data broadcasting application that is linked to a broadcast program, and the other MMT transmission path 504-2 transmits assets of a program-unlinked data broadcasting application that is not linked to a broadcast program. For example, assets such as weather forecasts and news are transmitted. It is also conceivable that data broadcasting application assets are provided independently from two or more delivery segments.
また、ＭＭＴ方式は、放送や通信の複数の伝送路を共通に用いることができる。例えば、データ放送（ＨＴＭＬ５文書など）のような非同期型メディアを、図５に示したように放送信号５００の伝送路５０４－１や５０４－２を用いて同じ放送サービスの同期型メディアとともに伝送する以外に、ＩＰネットワークなど通信伝送路（図示しない）を介して伝送することもできる。 Furthermore, the MMT system can commonly use multiple transmission paths for broadcasting and communication. For example, asynchronous media such as data broadcasting (HTML5 documents, etc.) is transmitted along with synchronous media of the same broadcasting service using transmission paths 504-1 and 504-2 of the broadcasting signal 500, as shown in FIG. Alternatively, the information can also be transmitted via a communication transmission path (not shown) such as an IP network.
伝送路５０５では、ＭＭＴを用いる放送システムにおいて、汎用データ伝送方式により各種データを伝送するのに利用される。汎用データ伝送は、ＨＴＭＬ５形式のデータ放送アプリケーションに対するデータのストリーミングに用いることができる。 The transmission path 505 is used to transmit various data using a general-purpose data transmission method in a broadcasting system using MMT. General purpose data transmission can be used to stream data to data broadcasting applications in HTML5 format.
伝送路５０６は、ＭＭＴ方式におけるシグナリング、すなわち、ＭＭＴのパッケージの構成や放送サービスに関連する情報を示す制御情報であるＭＭＴ－ＳＩの伝送に使用される。伝送路５０６では、ＭＭＴ－ＳＩを含んだＭＭＴメッセージがＭＭＴＰパケット化され、カルーセル方式により繰り返し伝送される。なお、図５では、ＴＬＶ－ＳＩ用の伝送路の図示を省略している。 The transmission path 506 is used for signaling in the MMT system, that is, for transmitting MMT-SI, which is control information indicating the configuration of an MMT package and information related to broadcasting services. On the transmission path 506, the MMT message including the MMT-SI is converted into MMTP packets, and is repeatedly transmitted using a carousel method. Note that in FIG. 5, illustration of the transmission path for TLV-SI is omitted.
ＭＭＴ－ＳＩには、メッセージ、テーブル、記述子がある。伝送路５０６伝送されるメッセージとして、ＰＡメッセージ５１０、Ｍ２セクション・メッセージ５２０、データ伝送メッセージ５３０を挙げることができる。 MMT-SI has messages, tables, and descriptors. Messages transmitted on the transmission path 506 include a PA message 510, an M2 section message 520, and a data transmission message 530.
ＰＡメッセージ５１０は、放送番組の構成などを示す制御情報であり、アセットのリストやその位置などパッケージを構成する情報を記述するＭＰ（ＭＭＴ Ｐａｃｋａｇｅ）テーブル５１１を格納するコンテナーである。 The PA message 510 is control information indicating the configuration of a broadcast program, and is a container that stores an MP (MMT Package) table 511 that describes information constituting a package such as a list of assets and their positions.
ＭＰ（ＭＭＴ Ｐａｃｋａｇｅ）テーブル５１１は、放送サービス単位の基本的な受信制御情報を示すテーブルであり、具体的には、アセットのリストや、アセットのロケーション情報など、パッケージを構成する情報を与える。また、ＭＰテーブル５１１は、アプリケーション・サービス記述子などのＭＰＴ記述子を含む。アプリケーション・サービス記述子は、データ放送アプリケーションのエントリー情報（例えば、データ伝送メッセージや、ＭＨ－ＡＩＴ及びＥＭＴをそれぞれ伝送する各Ｍ２セクション・メッセージのエントリー情報）を示す。また、ＭＰＵテーブル５１１には、ＭＰＵの提示時刻を提供するＭＰＵタイムスタンプ記述子が配置される。 The MP (MMT Package) table 511 is a table showing basic reception control information for each broadcast service, and specifically provides information constituting a package, such as an asset list and asset location information. The MP table 511 also includes MPT descriptors such as application service descriptors. The application service descriptor indicates entry information of a data broadcasting application (for example, entry information of a data transmission message and each M2 section message that transmits MH-AIT and EMT, respectively). Furthermore, the MPU table 511 includes an MPU timestamp descriptor that provides the presentation time of the MPU.
ＰＡメッセージ５１０は、放送サービスのエントリー・ポイントであり、ＰＡメッセージ５１０を伝送するＭＭＴＰパケットには、固定のパケット識別情報（例えば、０ｘ００００）が割り当てられている。したがって、受信機側では、ＭＭＴ伝送路５０６上で、上記固定のパケット識別情報を直接指定してＰＡメッセージ５１０を取得することができる。そして、ＰＡメッセージ５１０で伝送されるＭＰテーブル５１１を参照して、パッケージ（放送番組）を構成する各アセット（映像、音声、字幕、データ放送アプリケーション、汎用データ）や他のシグナリング・メッセージを間接指定することができる。 The PA message 510 is the entry point of the broadcast service, and the MMTP packet that transmits the PA message 510 is assigned fixed packet identification information (eg, 0x0000). Therefore, on the receiver side, the PA message 510 can be obtained by directly specifying the fixed packet identification information on the MMT transmission path 506. Then, with reference to the MP table 511 transmitted in the PA message 510, each asset (video, audio, subtitles, data broadcasting application, general-purpose data) that makes up the package (broadcast program) and other signaling messages are indirectly specified. can do.
なお、図５では省略したが、ＰＡメッセージ５１０に格納されるテーブルとして、ＭＰテーブル以外に、ＰＬ（Ｐａｃｋａｇｅ Ｌｉｓｔ）テーブル（ＰＬＴ）、ＬＣ（Ｌａｙｏｕｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ）テーブル（ＬＣＴ）を挙げることができる。ＰＬＴは、放送サービスとして提供されるＭＭＴパッケージのＰＡメッセージを伝送するＩＰデータ・フロー及びパケットＩＤ並びにＩＰサービスを伝送するＩＰデータ・フローの一覧を示す。また、ＬＣＴは、提示のためのレイアウト情報をレイアウト番号に対応付けるために用いる。ＰＡメッセージは、ＭＰテーブル、ＰＬテーブル、ＬＣテーブルという最大３つのテーブルを格納することができるコンテナーである。 Although not shown in FIG. 5, in addition to the MP table, tables stored in the PA message 510 include a PL (Package List) table (PLT) and an LC (Layout Configuration) table (LCT). PLT indicates a list of IP data flows and packet IDs that transmit PA messages of MMT packages provided as broadcast services, and IP data flows that transmit IP services. Further, the LCT is used to associate layout information for presentation with layout numbers. A PA message is a container that can store up to three tables: an MP table, a PL table, and an LC table.
Ｍ２セクション・メッセージ５２０は、ＭＰＥＧ－２ Ｓｙｓｔｅｍｓのセクション拡張形式を伝送するメッセージであり、セクション形式のシグナリング・テーブルを１つずつ格納するコンテナーである。Ｍ２セクション・メッセージ５２０内には、ＭＨ－ＡＩＴ（Ａｐｐｌｉｃａｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）５２１や、ＥＭＴ（Ｅｖｅｎｔ Ｍｅｓｓａｇｅ Ｔａｂｌｅ）５２２といったテーブルが１つずつ格納される。 The M2 section message 520 is a message that transmits the section extension format of MPEG-2 Systems, and is a container that stores one section format signaling table at a time. Each M2 section message 520 stores one table such as an MH-AIT (Application Information Table) 521 and an EMT (Event Message Table) 522.
ＭＨ－ＡＩＴ５２１は、アプリケーションに関する動的制御情報及び実行に必要な付加情報を指定するテーブルである。具体的には、ＭＨ－ＡＩＴ５２１は、アプリケーション情報ループの中で、当該テーブルの制御対象となる各アプリケーションの処理方法をａｐｐｌｉｃａｔｉｏｎ＿ｃｏｎｔｒｏｌ＿ｃｏｄｅで示すとともに、アプリケーションの情報を記述する各種アプリケーション情報記述子を配置する。ここで、ａｐｐｌｉｃａｔｉｏｎ＿ｃｏｎｔｒｏｌ＿ｃｏｄｅは、ａｕｔｏｓｔａｒｔ（アプリケーションの自動起動）、ｐｒｅｓｅｎｔ（アプリケーションが実行可能の状態）、ｋｉｌｌ（アプリケーションの終了）、ｐｒｅｆｅｔｃｈ（アプリケーションの取得及び保持（事前キャッシュ））などのアプリケーションの処理方法を示す。また、アプリケーション情報記述子の１つである伝送プロトコル記述子は、アプリケーションの伝送方式と伝送方式に応じたロケーション情報を指定する（アプリケーションをＨＴＴＰ／ＨＴＴＰＳ並びにＭＭＴ非同期型伝送の場合には、共通して、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）形式でロケーション情報を指定する）。 The MH-AIT 521 is a table that specifies dynamic control information regarding an application and additional information necessary for execution. Specifically, in the application information loop, the MH-AIT 521 indicates the processing method of each application to be controlled by the table using application_control_code, and also arranges various application information descriptors that describe application information. Here, application_control_code specifies application processing methods such as autostart (automatic startup of the application), present (state where the application is executable), kill (termination of the application), and prefetch (obtaining and holding the application (pre-caching)). show. In addition, the transmission protocol descriptor, which is one of the application information descriptors, specifies the transmission method of the application and the location information according to the transmission method (if the application is used for HTTP/HTTPS and MMT asynchronous transmission, the and specify location information in URL (Uniform Resource Locator) format).
ＥＭＴ５２２は、イベント・メッセージ伝送方式に用いるシグナリング・テーブルであり、イベント・メッセージ（放送局から受信機上のアプリケーションに対する同期・非同期のメッセージ）に関する情報（イベント・メッセージ記述子）を格納する。イベント・メッセージ伝送方式は、放送局から受信機で動作しているデータ放送アプリケーションに対して、即座にあるいは指定した時刻に、メッセージ情報を送る手段を提供する。 The EMT 522 is a signaling table used in the event message transmission method, and stores information (event message descriptor) regarding event messages (synchronous and asynchronous messages from a broadcast station to an application on a receiver). The event message transmission system provides a means for sending message information from a broadcast station to a data broadcasting application running on a receiver, either immediately or at a specified time.
データ伝送メッセージ５３０は、データ放送アプリケーションの伝送に関する制御情報を伝送するためのメッセージである。データ伝送メッセージ５３０は、データ・ディレクトリー管理テーブル（Ｄａｔａ Ｄｉｒｅｃｔｏｒｙ ｍａｎａｇｅｍｅｎｔ Ｔａｂｌｅ：ＤＤＭＴ）５３１、データ・アセット管理テーブル（Ｄａｔａ Ａｓｓｅｔ Ｍａｎａｇｅｍｅｎｔ Ｔａｂｌｅ：ＤＡＭＴ）５３２、データ・コンテンツ管理テーブル（Ｄａｔａ Ｃｏｎｔｅｎｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｔａｂｌｅ：ＤＣＣＴ）５３３という、最大３つのテーブルを同時に格納することができるコンテナーである。データ・ディレクトリー管理テーブル及びデータ・アセット管理テーブルはデータ放送サービスに必須であるが、データ・コンテンツ管理テーブルは任意である。 The data transmission message 530 is a message for transmitting control information regarding transmission of a data broadcasting application. The data transmission message 530 includes a data directory management table (DDMT) 531, a data asset management table (DAMT) 532, and a data content management table (Data Content Config). uration Table:DCCT)533 This is a container that can store up to three tables at the same time. The data directory management table and the data asset management table are essential for data broadcasting services, but the data content management table is optional.
ここで、データ・ディレクトリー管理テーブル５３１は、ディレクトリー単位（言い換えれば、データ放送アプリケーションの制作単位）でデータ放送アプリケーションを管理するためのテーブルである。同テーブル内は、１つのパッケージに含まれるアイテム（ディレクトリー並びにディレクトリーに含まれるサブディレクトリーやファイル）に関するディレクトリー構造を記述しているので、アプリケーションのファイル構成とファイル伝送のための構成を分離することができる。同テーブルは、ディレクトリーやファイルなどの各ノードのパス名と、データ伝送メッセージ内で各ノードを識別するノード・タグとの対応関係を示している。 Here, the data directory management table 531 is a table for managing data broadcasting applications in units of directories (in other words, units of production of data broadcasting applications). This table describes the directory structure of items included in one package (directory and subdirectories and files included in the directory), so it is possible to separate the application file structure and the file transmission structure. can. The table shows the correspondence between the path name of each node, such as a directory or file, and the node tag that identifies each node in the data transmission message.
また、データ・アセット管理テーブル５３２は、アセット単位でデータ放送アプリケーションを管理するためのテーブルであり、アセット内のＭＰＵの構成とのＭＰＵ毎のバージョン情報を記述している。具体的には、同テーブルは、各コンポーネントのダウンロード識別情報や、コンポーネントを伝送する各ＭＰＵに含まれるノード（ファイル又はディレクトリー）をデータ伝送メッセージ内で識別するノード・タグとＭＭＴ伝送路上でノードを識別するアイテム識別情報との対応関係を示している。 Further, the data/asset management table 532 is a table for managing data broadcasting applications on an asset basis, and describes the configuration of the MPU in the asset and version information for each MPU. Specifically, the table contains the download identification information of each component, the node tag that identifies the node (file or directory) included in each MPU that transmits the component in the data transmission message, and the node tag on the MMT transmission path. It shows the correspondence with the item identification information to be identified.
また、データ・コンテンツ管理テーブル５３３は、提示単位（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｕｎｉｔ：ＰＵ）毎にデータ放送アプリケーションを管理するためのテーブルである。同テーブルは、データ放送アプリケーションを提示単位毎に識別する提示単位識別情報と、各提示単位に含まれるノード（ファイル又はディレクトリー）をデータ伝送メッセージ内で識別するノード・タグを示している。また、同テーブルは、提示単位にリンクする提示単位を識別するリンク先提示単位識別情報や、各提示単位のキャッシュ制御に関する情報を含めることができ、受信機側ではデータ放送アプリケーション用のファイル・データの柔軟で有効なキャッシュ制御に利用することができる。 Further, the data/content management table 533 is a table for managing data broadcasting applications for each presentation unit (PU). The table shows presentation unit identification information that identifies the data broadcasting application for each presentation unit, and node tags that identify nodes (files or directories) included in each presentation unit within the data transmission message. In addition, the table can include link destination presentation unit identification information that identifies the presentation unit linked to the presentation unit, and information regarding cache control for each presentation unit. can be used for flexible and effective cache control.
ＭＭＴによるデータ放送アプリケーションの伝送方式において、データ伝送メッセージで伝送する上記３種類のシグナリング・テーブル５３１～５３３を活用することにより、ファイル単位の伝送データ構造やコンテンツ（データ放送アプリケーション）制作におけるディレクトリー構造とは独立して、アプリケーション単位、提示単位といった利用単位のデータ構造を表現することができる。各シグナリング・テーブル５３１～５３３の構成は、ＡＲＩＢ ＳＴＤ Ｂ－６０で規定されている。 In the transmission method of data broadcasting applications using MMT, by utilizing the above three types of signaling tables 531 to 533 transmitted in data transmission messages, it is possible to improve the transmission data structure in file units and the directory structure in content (data broadcasting application) production. can independently represent the data structure of usage units such as application units and presentation units. The configuration of each signaling table 531 to 533 is defined in ARIB STD B-60.
ＭＭＴ－ＳＩとして伝送されるメッセージやテーブルのパケット識別情報は、固定されているものや、他のテーブルから間接指定されるものがある。このうち、ＰＡメッセージは、放送サービスのエントリー・ポイントであり、固定のパケット識別情報（例えば、０ｘ００００）が割り当てられている。ＰＡメッセージで伝送されるＭＰテーブルでは、パッケージ（放送番組）を構成する各アセット（映像、音声、字幕、データ放送アプリケーションなど）のアセット識別情報とロケーション情報を示している。したがって、受信機側では、ＭＭＴ伝送路上で、上記固定のパケット識別情報を直接指定してＰＡメッセージを取得することができる。そして、図６に示すように、ＰＡメッセージで伝送されるＭＰテーブルを参照して、放送サービスに関連する各アセット（映像、音声、字幕、データ放送アプリケーションなど）や他のシグナリング・メッセージを間接的に指定することができる。なお、ＭＰテーブルは、映像及び音声以外の各アセットに対して、データ符号化方式を識別するために、ＭＨ－データ符号化方式記述子を配置する。 The packet identification information of messages and tables transmitted as MMT-SI may be fixed or indirectly specified from another table. Among these, the PA message is the entry point of the broadcast service, and is assigned fixed packet identification information (eg, 0x0000). The MP table transmitted in the PA message shows asset identification information and location information of each asset (video, audio, subtitles, data broadcasting application, etc.) that constitutes the package (broadcast program). Therefore, on the receiver side, it is possible to directly specify the fixed packet identification information on the MMT transmission path and obtain a PA message. As shown in Figure 6, each asset (video, audio, subtitles, data broadcasting application, etc.) related to the broadcasting service and other signaling messages are indirectly transmitted by referring to the MP table transmitted in the PA message. can be specified. Note that the MP table arranges an MH-data encoding method descriptor for each asset other than video and audio in order to identify the data encoding method.
図７には、ＭＰテーブルのシンタックス例７００を示している。以下、ＭＰテーブルの各パラメーターの意味について説明する。 FIG. 7 shows an example syntax 700 of an MP table. The meaning of each parameter in the MP table will be explained below.
ｔａｂｌｅ＿ｉｄは、当該テーブルがＭＰテーブルであることを識別する８ビットの固定値（０ｘ２０）である。ｖｅｒｓｉｏｎは、ＭＰテーブルのバージョン番号を示す８ビットの整数値である。例えば、ＭＰテーブルを構成する一部のパラメーター（記述子）でも更新した場合には、ｖｅｒｓｉｏｎは＋１だけインクリメントされる。ｌｅｎｇｔｈは、このフィールドの直後からカウントされる、ＭＰテーブルのサイズをバイト単位で示す、３２ビット長のパラメーターである。また、ＭＰＴ＿ｍｏｄｅは、このＭＰテーブルがサブセットに分割されているときの動作を示す。 table_id is an 8-bit fixed value (0x20) that identifies the table as an MP table. version is an 8-bit integer value indicating the version number of the MP table. For example, if some parameters (descriptors) constituting the MP table are updated, version is incremented by +1. length is a 32-bit long parameter that indicates the size of the MP table in bytes, counted from immediately after this field. Furthermore, MPT_mode indicates the operation when this MP table is divided into subsets.
ＭＭＴ＿ｐａｃｋａｇｅ＿ｉｄ＿ｌｅｎｇｔｈは、パッケージ識別情報（ＭＭＴ＿ｐａｃｋａｇｅ＿ｉｄ）のテキスト情報のサイズをバイト単位で示す。続くパッケージ識別情報のループでは、ＭＭＴ＿ｐａｃｋａｇｅ＿ｉｄをバイト単位（ＭＭＴ＿ｐａｃｋａｇｅ＿ｉｄ＿ｂｙｔｅ）でパッケージ識別情報を示す。パッケージ識別情報は、放送信号（ＩＰデータ・フロー）で伝送されるすべての信号（映像、音声、字幕）、並びにファイル・データなどのアセットをコンポーネントとする全体のパッケージとしての識別情報である。この識別情報は、テキスト情報であり、上位１６ビットはサービスを識別するためのサービス識別情報と同じ値とする。 MMT_package_id_length indicates the size of the text information of the package identification information (MMT_package_id) in bytes. In the subsequent package identification information loop, MMT_package_id indicates the package identification information in byte units (MMT_package_id_byte). The package identification information is identification information for an entire package whose components are all signals (video, audio, subtitles) transmitted by a broadcast signal (IP data flow), and assets such as file data. This identification information is text information, and the upper 16 bits have the same value as the service identification information for identifying the service.
ＭＰＴ＿ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈは、ＭＰテーブル記述子領域のサイズをバイト単位で示す。ＭＰテーブル記述子のループでは、ＭＰテーブル記述子の内容をバイト単位（ＭＰＴ＿ｄｅｓｃｒｉｐｔｏｒｓ＿ｂｙｔｅ）で記述する。ＭＰＴ記述子には、対応する放送サービス（パッケージ）全体の受信制御に関わる基本的な情報が記述される。 MPT_descriptor_length indicates the size of the MP table descriptor area in bytes. In the MP table descriptor loop, the contents of the MP table descriptor are written in byte units (MPT_descriptors_byte). The MPT descriptor describes basic information related to reception control of the entire corresponding broadcasting service (package).
ｎｕｍｂｅｒ＿ｏｆ＿ａｓｓｅｔｓは、放送サービス（パッケージ）を構成する要素としてのアセット（信号、ファイル）の数を示す、８ビットのパラメーターである。ｎｕｍｂｅｒ＿ｏｆ＿ａｓｓｅｔの数分だけ、アセット情報のループが配置される。１つのアセット情報のループ内には、個々のアセットの情報としてのアセット識別情報（ａｓｓｅｔ＿ｉｄ）と、一般ロケーション情報（ＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏ）と、アセット記述子（ａｓｓｅｔ＿ｄｅｓｃｒｉｐｔｏｒ）の各パラメーターが配置される。アセット情報のループ内に配置される情報について、以下に説明しておく。 number_of_assets is an 8-bit parameter indicating the number of assets (signals, files) as elements constituting the broadcasting service (package). As many asset information loops as number_of_asset are arranged. Within one asset information loop, parameters such as asset identification information (asset_id), general location information (MMT_general_location_info), and asset descriptor (asset_descriptor) as information on individual assets are arranged. The information placed in the asset information loop will be explained below.
ｉｄｅｎｔｉｆｉｅｒ＿ｔｙｐｅは、ＭＭＴＰパケット・フローのＩＤ体系を示す。アセット識別情報（ａｓｓｅｔ＿ｉｄ）を示すＩＤ体系であれば０ｘ００とする。ａｓｓｅｔ＿ｉｄ＿ｓｃｈｅｍｅは、アセット識別情報の形式を示す。ａｓｓｅｔ＿＿ｉｄ＿ｌｅｎｇｔｈは、アセット識別情報のテキスト情報のサイズをバイト単位で示す。続くアセット識別情報のループでは、アセット識別情報をバイト単位（ａｓｓｅｔ＿ｉｄ＿ｂｙｔｅ）で示す。 identifier_type indicates the ID system of the MMTP packet flow. If it is an ID system indicating asset identification information (asset_id), it is set to 0x00. asset_id_scheme indicates the format of asset identification information. asset_id_length indicates the size of the text information of the asset identification information in bytes. In the subsequent asset identification information loop, the asset identification information is shown in bytes (asset_id_byte).
ａｓｓｅｔ＿ｔｙｐｅは、アセットの種類（映像、音声、文字スーパー・字幕、アプリケーションなど）を３２ビット長の文字列で示す。ａｓｓｅｔ＿ｃｌｏｃｋ＿ｒｅｌａｔｉｏｎ＿ｆｌａｇは、アセットのクロック情報フィールドの有無を示すフラグである。当該フラグが１のときは、クロック情報識別フィールド（ａｓｓｅｔ＿ｃｌｏｃｋ＿ｒｅｌａｔｉｏｎ＿ｉｄ）とタイムスケール・フラグ・フィールド（ａｓｓｅｔ＿ｔｉｍｅｓｃａｌｅ＿ｆｌａｇ）が存在し、０のときはこれらのフィールドは存在しない。ｌｏｃａｔｉｏｎ＿ｃｏｕｎｔは、アセットのロケーション情報の数を示し、続くｌｏｃａｔｉｏｎ＿ｃｏｕｎｔの数だけ繰り返されるロケーション情報のループでは、該当するアセットのロケーション情報であるＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏが示される。 asset_type indicates the type of asset (video, audio, superimposed text/subtitles, application, etc.) as a 32-bit character string. asset_clock_relation_flag is a flag indicating the presence or absence of an asset clock information field. When the flag is 1, a clock information identification field (asset_clock_relation_id) and a timescale flag field (asset_timescale_flag) are present, and when the flag is 0, these fields are not present. location_count indicates the number of location information of an asset, and in the subsequent location information loop repeated the number of locations_count, MMT_general_location_info, which is the location information of the relevant asset, is indicated.
ａｓｓｅｔ＿ｔｙｐｅは、アセットの種類（映像、音声、文字スーパー・字幕、アプリケーションなど）を３２ビット長の文字列で示す。ａｓｓｅｔ＿ｔｙｐｅ（文字）が表すアセットの種類を、以下に表１に示しておく。 asset_type indicates the type of asset (video, audio, superimposed text/subtitles, application, etc.) as a 32-bit character string. The types of assets represented by asset_type (characters) are shown in Table 1 below.
ａｓｓｅｔ＿ｃｌｏｃｋ＿ｒｅｌａｔｉｏｎ＿ｆｌａｇは、アセットのクロック情報フィールドの有無を示すフラグである。当該フラグが１のときは、クロック情報識別フィールド（ａｓｓｅｔ＿ｃｌｏｃｋ＿ｒｅｌａｔｉｏｎ＿ｉｄ）とタイムスケール・フラグ・フィールド（ａｓｓｅｔ＿ｔｉｍｅｓｃａｌｅ＿ｆｌａｇ）が存在し、０のときはこれらのフィールドは存在しない。ｌｏｃａｔｉｏｎ＿ｃｏｕｎｔは、アセットのロケーション情報の数を示し、続くｌｏｃａｔｉｏｎ＿ｃｏｕｎｔの数だけ繰り返されるロケーション情報のループでは、該当するアセットのロケーション情報であるＭＭＴ＿ｇｅｎｅｒａｌ＿ｌｏｃａｔｉｏｎ＿ｉｎｆｏが示される。アセットのロケーション情報は、アセットの取得先となるＭＭＴ伝送路上のパケット識別情報（ｐａｃｋｅｔ＿ｉｄ：ＰＩＤ）の形式で記述される。したがって、ＭＰテーブル上でアセット識別情報を引いて、ＭＭＴ伝送路（ＩＰデータ・フロー）上の該当するパケット識別情報を取り出すことができる（図６を参照のこと）。 asset_clock_relation_flag is a flag indicating the presence or absence of an asset clock information field. When the flag is 1, a clock information identification field (asset_clock_relation_id) and a timescale flag field (asset_timescale_flag) are present, and when the flag is 0, these fields are not present. location_count indicates the number of location information of an asset, and in the subsequent location information loop repeated the number of locations_count, MMT_general_location_info, which is the location information of the relevant asset, is indicated. The asset location information is described in the format of packet identification information (packet_id: PID) on the MMT transmission path from which the asset is acquired. Therefore, by looking up the asset identification information on the MP table, the corresponding packet identification information on the MMT transmission path (IP data flow) can be extracted (see FIG. 6).
ａｓｓｅｔ＿ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈは、アセット記述子（ａｓｓｅｔ＿ｄｅｓｃｒｉｐｔｏｒ）のテキスト情報のサイズをバイト単位で示す。参照番号７０１で示すアセット記述子のループでは、アセット毎の記述子の内容をバイト単位（ａｓｓｅｔ＿ｄｅｓｃｒｉｐｔｏｒｓ＿ｂｙｔｅ）で示す。アセット情報のループ（ＭＰテーブルの第２ループ）内に配置されるアセット記述子として、データ符号化方式を識別するために使用する「ＭＨ－データ符号化方式記述子」や、ＭＰＵの提示時刻を提供する「ＭＰＵタイムスタンプ記述子」、ＭＰＵ内のアクセス・ユニットの復号時刻などを提供する「ＭＰＵ拡張タイムスタンプ記述子」、アセットのグループ関係とグループ内での優先度を提供する「アセット・グループ記述子」、ＭＰＵの提示位置を提供する「ＭＰＵ提示領域指定記述子」、依存関係にあるアセットのアセットＩＤを提供する「依存関係記述子」を挙げることができる。 asset_descriptor_length indicates the size of the text information of the asset descriptor (asset_descriptor) in bytes. In the asset descriptor loop indicated by reference number 701, the contents of the descriptor for each asset are indicated in byte units (asset_descriptors_byte). As an asset descriptor placed in the asset information loop (second loop of the MP table), the "MH-data encoding method descriptor" used to identify the data encoding method and the presentation time of the MPU are stored. "MPU timestamp descriptor" that provides information such as the decoding time of access units within the MPU, "MPU extended timestamp descriptor" that provides information such as the decoding time of access units in the MPU, and "Asset group ``descriptor'', ``MPU presentation area designation descriptor'' that provides the presentation position of the MPU, and ``dependency relationship descriptor'' that provides the asset ID of an asset in a dependent relationship.
図８には、ＭＰテーブルのアセット情報ループに配置される、ＭＰＵタイムスタンプ記述子のシンタックス例８００を示している。ＭＰＵタイムスタンプ記述子は、ＭＰＵにおいて提示順序で最初のアクセス・ユニットの提示時刻を示す。以下、ＭＰＵタイムスタンプ記述子の各パラメーターの意味について説明する。 FIG. 8 shows an example syntax 800 of an MPU timestamp descriptor placed in the asset information loop of the MP table. The MPU timestamp descriptor indicates the presentation time of the first access unit in presentation order at the MPU. The meaning of each parameter of the MPU timestamp descriptor will be explained below.
ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇは、当該記述子８００を識別する、８ビットの固定値を示す。ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈは、このフィールドより後に続く当該記述子のデータのバイト長を書き込む、８ビットの領域である。 descriptor_tag indicates an 8-bit fixed value that identifies the descriptor 800. descriptor_length is an 8-bit area into which the byte length of the data of the descriptor following this field is written.
ｍｐｕ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒは、当該記述子でタイムスタンプを記述するＭＰＵのシーケンス番号を示す。ｍｐｕ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅは、上記シーケンス番号で示されたＭＰＵの提示時刻を６４ビットのＮＴＰタイムスタンプ形式で示す。 mpu_sequence_number indicates the sequence number of the MPU whose timestamp is written in the descriptor. mpu_presentation_time indicates the presentation time of the MPU indicated by the above sequence number in a 64-bit NTP timestamp format.
ＭＨ－ＡＩＴでは、各アプリケーションのロケーション情報は、ＵＲＬ形式、言い換えれば、ディレクトリー・ノード名とファイル名の組み合わせからなるパス名で記述される。一方、データ伝送メッセージで伝送されるデータ・ディレクトリー管理テーブル及びデータ・アセット管理テーブルを用いて、アセットのパス名をＭＭＴ伝送路上の識別情報（パケット識別情報）に変換することができる。図９を参照しながら、ＭＭＴ伝送されるデータ放送に関連するファイルを取得する仕組みについて、簡単に説明しておく。 In MH-AIT, location information for each application is written in URL format, in other words, a path name consisting of a combination of a directory node name and a file name. On the other hand, the path name of the asset can be converted into identification information (packet identification information) on the MMT transmission path using the data directory management table and data asset management table transmitted in the data transmission message. With reference to FIG. 9, a mechanism for acquiring files related to MMT-transmitted data broadcasting will be briefly described.
受信機は、Ｍ２セクション・メッセージで伝送されるＭＨ－ＡＩＴ内のアプリケーション情報ループを参照して、起動すべきアプリケーション（例えば、アプリケーション制御コードで自動起動（ａｕｔｏｓｔａｒｔ）が指定されたアプリケーション）を検知することができる。また、受信機は、ＭＨ－ＡＩＴに配置されている伝送プロトコル記述子から、アプリケーションのロケーション情報すなわちパス名を取得することができる。放送で伝送されるアプリケーションの場合には、参照番号９０１で示すように、データ伝送メッセージ内のデータ・ディレクトリー管理テーブルから、指定されたパス名に対応するファイルのノード・タグを得ることができる。 The receiver refers to the application information loop in the MH-AIT transmitted in the M2 section message and detects an application to be started (for example, an application specified to be automatically started (autostart) in the application control code). be able to. Additionally, the receiver can obtain application location information, ie, path name, from the transmission protocol descriptor located in the MH-AIT. In the case of an application transmitted by broadcasting, the node tag of the file corresponding to the specified path name can be obtained from the data directory management table in the data transmission message, as indicated by reference numeral 901.
次いで、参照番号９０２で示すように、同じくデータ伝送メッセージ内のデータ・アセット管理テーブルから、データ・ディレクトリー管理テーブルで得られたノード・タグを持つアイテムが伝送されるデータ・アセットのコンポーネント・タグ、ダウンロード識別情報、ＭＰＵシーケンス番号、及びアイテム識別情報を得ることができる。 Then, as indicated by reference numeral 902, the component tag of the data asset to which the item with the node tag obtained in the data directory management table is transmitted, also from the data asset management table in the data transmission message; Download identification information, MPU sequence number, and item identification information can be obtained.
さらに、参照番号９０３で示すように、ＭＰテーブルから、データ・アセット管理テーブルで得られたコンポーネント・タグを持つアセットのロケーション情報を取得すると、参照番号９０４で示すように、該当するファイルが実際に伝送されるデータ・アセットを特定することができる。 Furthermore, as shown by reference number 903, when the location information of the asset with the component tag obtained in the data asset management table is obtained from the MP table, the corresponding file is actually located as shown by reference number 904. Data assets to be transmitted can be identified.
そして、特定されたデータ・アセット内で、データ・アセット管理テーブルから得られたダウンロード識別情報とアイテムを伝送するＭＭＴＰパケットのヘッダー領域に記載されたダウンロード識別情報とにより、カルーセルに対応するファイルの繰り返し伝送の単位を一意に識別することができる。参照番号９０５で示すように、繰り返し伝送されるアイテムのうち、データ・アセット管理テーブルから得られたＭＰＵシーケンス番号及びアイテム識別情報を持つアイテムを所望のファイルとして指定することができる。 Then, within the identified data asset, the files corresponding to the carousel are repeated based on the download identification information obtained from the data asset management table and the download identification information written in the header area of the MMTP packet that transmits the item. The unit of transmission can be uniquely identified. As indicated by reference numeral 905, among the repeatedly transmitted items, an item having the MPU sequence number and item identification information obtained from the data asset management table can be designated as a desired file.
Ｃ．汎用データ・ストリームの伝送
汎用データ伝送方式は、各種データを同期型又は非同期型により伝送する方式であり、映像、音声、字幕以外のデータの提示を行なうプレイヤーで利用するデータやマルチメディア・サービスで利用するデータのストリーミングに適用することができる。汎用データ伝送は、ＨＴＭＬ５形式のデータ放送アプリケーションで利用する各種データをストリームとして放送は伝送するのに用いることができる。同期型ＭＰＵで伝送する同期型汎用データと、非同期型ＭＰＵで伝送する非同期型汎用データがある。同期型汎用データのＭＰＵには、ＭＰＵタイムスタンプ記述子（前述）により提示時刻が示される。
C. General-purpose data stream transmission The general-purpose data transmission method is a method for transmitting various data in a synchronous or asynchronous manner, and is used for data used by players that present data other than video, audio, and subtitles, and for multimedia services. It can be applied to streaming data. General-purpose data transmission can be used to transmit various data used in an HTML5 format data broadcasting application as a stream. There are synchronous general-purpose data transmitted by synchronous MPUs and asynchronous general-purpose data transmitted by asynchronous MPUs. For the MPU of synchronous general-purpose data, the presentation time is indicated by the MPU timestamp descriptor (described above).
汎用データ伝送の処理では、ＭＰＵが処理の単位となる。ＭＰＵは、あるタイミングに利用するデータを含み、ＭＰＵ単位で提示などの処理を行なうことができる単位となる。図１０には、汎用データのＭＰＵ及びＭＦＵの構成を示している。 In general-purpose data transmission processing, the MPU is the processing unit. The MPU is a unit that includes data to be used at a certain timing and can perform processing such as presentation on an MPU basis. FIG. 10 shows the configuration of MPU and MFU for general-purpose data.
汎用データのＭＰＵは、ＭＰＵメタデータ、ムービー・フラグメント・メタデータは配置せず、１以上のＭＦＵで構成される。各ＭＦＵは、汎用データ・ヘッダー部と、データ部で構成される。各ＭＦＵのデータ部には、任意のサイズのデータを格納することができる。例えば、１つのＭＦＵで１つのファイルを送ることができる。 The general-purpose data MPU does not include MPU metadata or movie fragment metadata, and is composed of one or more MFUs. Each MFU consists of a general-purpose data header section and a data section. Data of any size can be stored in the data section of each MFU. For example, one MFU can send one file.
図１１には、汎用データのＭＦＵのシンタックス例１１００を示している。以下、汎用データのＭＦＵの各パラメーターの意味について説明する。 FIG. 11 shows an example syntax 1100 of MFU of general-purpose data. The meaning of each parameter of MFU of general-purpose data will be explained below.
ｃｏｍｐｏｎｅｎｔ＿ｔａｇ（コンポーネント・タグ）は、当該コンポーネント・ストリームを識別するためのラベルであり、ＭＰテーブルのＭＨ－ストリーム識別記述子で与えられる汎用データ・ストリームのアセット識別情報と一意に対応するコンポーネント・タグの１６ビットの値が書き込まれる。 component_tag (component tag) is a label for identifying the relevant component stream, and is a label for the component tag that uniquely corresponds to the asset identification information of the general-purpose data stream given by the MH-stream identification descriptor of the MP table. A 16-bit value is written.
ｄａｔａ＿ｔｙｐｅ＿ｌｅｎｇｔｈは、後続のデータ・タイプ記述（ｄａｔａ＿ｔｙｐｅ＿ｂｙｔｅ）の長さをバイト単位で示す。参照番号１１０１で示す、ｄａｔａ＿ｔｙｐｅ＿ｂｙｔｅは、当該ＭＦＵで伝送するデータのＭＩＭＥ（ＭＵＬＴＩＰＵＲＰＯＳＥ Ｉｎｔｅｒｎｅｔ Ｍａｉｌ Ｅｘｔｅｎｓｉｏｎ）タイプを格納する領域である。 data_type_length indicates the length of the subsequent data type description (data_type_byte) in bytes. The data_type_byte indicated by the reference number 1101 is an area for storing the MIME (MULTIPURPOSE Internet Mail Extension) type of data transmitted by the MFU.
ａｄｄｉｔｉｏｎａｌ＿ｉｎｆｏ＿ｌｅｎｇｔｈは、後続の付加情報記述の長さをバイト単位で示す。参照番号１１０２で示す、ａｄｄｉｔｉｏｎａｌ＿ｉｎｆｏ＿ｂｙｔｅは、当該ＭＦＵで伝送するデータに関する付加情報を格納する領域である。 additional_info_length indicates the length of the subsequent additional information description in bytes. Additional_info_byte indicated by reference number 1102 is an area for storing additional information regarding data transmitted by the MFU.
ｄａｔａ＿ｌｅｎｇｔｈは、後続の汎用データのデータ・バイトの長さをバイト単位で示す。参照番号１１０３で示す、ｄａｔａ＿ｂｙｔｅは、汎用データを格納する領域である。 data_length indicates the length of the data bytes of the subsequent general-purpose data in bytes. data_byte, indicated by reference number 1103, is an area for storing general-purpose data.
コンポーネント・タグ、データ・タイプ、付加情報は、汎用データ・ヘッダー部に相当する。ｄａｔａ＿ｂｙｔｅは、データ部に相当する。 The component tag, data type, and additional information correspond to the general-purpose data header section. data_byte corresponds to the data part.
本明細書では、汎用データのユースケースとして、ＨＴＭＬ５形式のデータ放送アプリケーションに対して、表示オブジェクトを時々刻々と変化させるためのデータを汎用データ・ストリームとして伝送する技術を提案する。以下では、本明細書で開示する技術の一実施形態として、放送番組の映像に対して表示オブジェクトをオーバーレイ表示するデータ放送アプリケーションに対して、表示オブジェクトの制御情報を汎用データ・ストリームとして伝送する技術について、詳細に説明する。 In this specification, as a use case of general-purpose data, we propose a technology for transmitting data for changing display objects from time to time as a general-purpose data stream to an HTML5 format data broadcasting application. Below, as an embodiment of the technology disclosed in this specification, a technology for transmitting control information of a display object as a general-purpose data stream to a data broadcasting application that displays a display object as an overlay on a video of a broadcast program. will be explained in detail.
例えば、放送番組の映像と同期する表示オブジェクトを表示させたい場合、時々刻々変化する表示オブジェクトの制御情報を、映像と時刻同期した同期型汎用データ・ストリームで伝送することができる。そして、データ放送アプリケーションは、汎用データ・ストリームとして受信する制御情報に基づいて、映像の動きに合わせて、表示オブジェクトを映像にオーバーレイ表示することができる。 For example, when it is desired to display a display object that is synchronized with the video of a broadcast program, control information for the display object that changes from moment to moment can be transmitted in a synchronous general-purpose data stream that is time-synchronized with the video. Based on the control information received as a general-purpose data stream, the data broadcasting application can overlay display objects on the video in accordance with the movement of the video.
図１２には、放送番組の映像と同期する表示オブジェクトを表示させた放送画面の表示例を示している。同図は、サッカーの試合の放送画面であり、出場している選手の情報（例えば、選手名、ポジション、ゴール数など）を提示する「吹き出し」状の表示オブジェクトを、各選手の動きに追従させてオーバーレイ表示している。 FIG. 12 shows an example of a broadcast screen displaying display objects that are synchronized with the video of a broadcast program. The figure shows a broadcast screen of a soccer match, where a "speech bubble" display object that presents information about the participating players (e.g., player name, position, number of goals, etc.) follows the movements of each player. It is displayed as an overlay.
図１２は、放送番組の画面に表示オブジェクトをオーバーレイ表示する例の１つに過ぎない。サッカー以外の、例えば野球やバスケットボール、ゴルフ、陸上競技、柔道、カーレースなどさまざまな競技を中継する放送番組に対しても、同様の表示オブジェクトのオーバーレイ表示を適用することができる。勿論、スポーツ以外の、ドラマや音楽番組などさまざまなジャンルの放送番組にも、同様の表示オブジェクトのオーバーレイ表示を適用することができる。 FIG. 12 is just one example of displaying a display object as an overlay on the screen of a broadcast program. Similar overlay display of display objects can be applied to broadcast programs that broadcast various sports other than soccer, such as baseball, basketball, golf, track and field, judo, and car racing. Of course, similar overlay display of display objects can be applied to broadcast programs of various genres other than sports, such as dramas and music programs.
映像と同期した表示オブジェクトに関する情報の表現方法として、例えば、以下で説明する移動オブジェクト・リスト記述（Ｍｏｖｉｎｇ Ｏｂｊｅｃｔ Ｌｉｓｔ Ｄｅｓｃｒｉｐｔｉｏｎ：ＭＯＬＤ）文書を利用することができる。移動オブジェクト・リスト記述文書は、同時に画面に表示するオブジェクト数分の表示オブジェクトに関する情報のリストを記述する文書構造を備えている。移動オブジェクト・リスト記述文書内には、表示オブジェクト毎の情報として、表示オブジェクトの画面上の位置及びサイズと、表示データ自体又は表示データの取得先情報（参照するデータ参照番号又はＵＲＬなど）を記載すればよい。 As a method of expressing information regarding display objects synchronized with video, for example, a moving object list description (MOLD) document described below can be used. The moving object list description document has a document structure that describes a list of information regarding display objects for the number of objects displayed on the screen at the same time. In the moving object list description document, the position and size of the display object on the screen, and the display data itself or display data acquisition source information (reference data reference number or URL, etc.) are described as information for each display object. do it.
送信側（放送局）からは、移動オブジェクト・リスト記述文書とこれから参照される表示オブジェクトの表示データ（画像ファイル）をパッケージ化して、パッケージ単位の表示時刻を示すタイムスタンプとともに、汎用データ・ストリームとして間欠的に放送伝送する。そして、受信機側では、各表示オブジェクトを描画するための情報を移動オブジェクト・リスト記述文書から取り出すと、タイムスタンプで指定される表示時刻に基づいて、映像と同期した表示オブジェクトを放送番組の画面にオーバーレイ表示することが可能である。 The sending side (broadcasting station) packages the moving object list description document and the display data (image file) of the display objects that will be referenced from now on, and sends it as a general-purpose data stream along with a timestamp indicating the display time of each package. Broadcast is transmitted intermittently. Then, on the receiver side, when the information for drawing each display object is extracted from the moving object list description document, the display object synchronized with the video is drawn on the screen of the broadcast program based on the display time specified by the timestamp. It is possible to display an overlay on the .
パッケージ単位の表示時刻を示すタイムスタンプ情報は、ＭＰＵの提示時刻を提供するＭＰＵタイムスタンプ記述子で示すことができる。ＭＰＵタイムスタンプ記述子は、ＭＰテーブルの第２ループ内に配置されるアセット記述子７０１の１つである。ＭＰＵタイムスタンプ記述子のシンタックス例を図８に示したが、移動オブジェクト・リスト記述文書を伝送するＭＰＵのシーケンス番号をｍｐｕ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒで指定し、その表示時刻をｍｐｕ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅで指定すればよい。 The time stamp information indicating the display time of each package can be indicated by an MPU time stamp descriptor that provides the MPU presentation time. The MPU timestamp descriptor is one of the asset descriptors 701 placed in the second loop of the MP table. An example of the syntax of the MPU timestamp descriptor is shown in FIG. 8, but the sequence number of the MPU that transmits the moving object list description document may be specified by mpu_sequence_number, and the display time thereof may be specified by mpu_presentation_time.
また、表示オブジェクトに関する情報として、次のタイミングまでの各表示オブジェクトの内挿位置を求めるための内挿情報も、移動オブジェクト・リスト記述文書に記述する。内挿情報は、次のタイミングまでの時間を細分化した時刻毎の内挿位置を求めるための情報を含む。映像フレーム毎に汎用データ・ストリームを伝送するのは、情報量が大きいため現実的でない。汎用データ・ストリームを間欠的に伝送し、受信機側では、移動オブジェクト・リスト記述文書に記述された内挿情報に基づいて求めた内挿位置に表示オブジェクトを表示することで、次のタイミングまでの間に表示オブジェクトを滑らかに移動させることができる。図１２に示した放送番組の表示例で言えば、常にピッチ上を動き回るサッカー選手に滑らかに追従するように、内挿により表示オブジェクトをオーバーレイ表示することができる。 Furthermore, as information regarding display objects, interpolation information for determining the interpolation position of each display object up to the next timing is also written in the moving object list description document. The interpolation information includes information for finding an interpolation position for each time point obtained by subdividing the time until the next timing. Transmitting a general-purpose data stream for each video frame is not practical due to the large amount of information. A general-purpose data stream is transmitted intermittently, and the receiver side displays the display object at the interpolation position determined based on the interpolation information described in the moving object list description document until the next timing. The displayed object can be moved smoothly between the two. In the display example of the broadcast program shown in FIG. 12, the display object can be displayed as an overlay by interpolation so as to smoothly follow the soccer player who is constantly moving around on the pitch.
例えば、内挿情報として、表示オブジェクトの速度ベクトル情報を記述することで、表示オブジェクトの内挿位置を線形補間することが可能になる。さらに、角速度情報を含めることで、表示オブジェクトの内挿位置を弧の曲線補間することが可能になる。速度ベクトルや角速度は、対応する選手の動きを解析して求めることができる。 For example, by describing velocity vector information of a display object as interpolation information, it becomes possible to linearly interpolate the interpolation position of the display object. Furthermore, by including the angular velocity information, it becomes possible to interpolate the interpolated position of the display object by arc curve interpolation. The velocity vector and angular velocity can be obtained by analyzing the movement of the corresponding player.
また、表示オブジェクトに関する情報として、さらにハイパーリンクのＵＲＬ情報を移動オブジェクト・リスト記述文書に記述するようにしてもよい。受信機側では、映像の視聴者が表示オブジェクトを操作した場合に、その表示オブジェクトに対して指定されたＵＲＬに基づいて指定されたリンク先から情報を取得して表示することができる。 Further, as information regarding the display object, URL information of a hyperlink may be further described in the moving object list description document. On the receiver side, when a video viewer operates a display object, information can be acquired from a specified link destination based on the URL specified for the display object and displayed.
また、複数の移動オブジェクト・リスト記述文書から共通に参照される表示オブジェクトの表示データについては、移動オブジェクト・リスト記述文書とパッケージ化して毎回伝送するのではなく、代表して先頭の移動オブジェクト・リスト記述文書とパッケージ化して伝送し、それ以後に伝送する移動オブジェクト・リスト記述文書からは共通に参照するようにしてもよい。外部の表示データを参照する、移動オブジェクト・リスト記述文書のみからなる汎用データを伝送することにより、伝送情報量を削減（すなわち、伝送帯域を節約）することができる。表示データを更新したときに、移動オブジェクト・リスト記述文書とパッケージ化して伝送するようにすれば、帯域節約の効果が高まる。但し、番組の途中でチューニングしてきた受信機でも表示オブジェクトを表示できるようにするために、表示データをパッケージ化した汎用データを一定間隔で伝送することが好ましい。 In addition, display data for display objects that are commonly referenced by multiple moving object list description documents is not packaged with the moving object list description document and transmitted each time, but instead is sent to the first moving object list as a representative. It may be packaged with a description document and transmitted, and referenced in common from moving object list description documents transmitted thereafter. By transmitting general-purpose data consisting only of moving object list description documents that refer to external display data, the amount of transmitted information can be reduced (that is, the transmission bandwidth can be saved). When display data is updated, if it is packaged with the moving object list description document and transmitted, the effect of saving bandwidth will be enhanced. However, in order to be able to display the display object even on a receiver that has tuned in during the program, it is preferable to transmit general-purpose data, which is a package of display data, at regular intervals.
また、上記の汎用データ・ストリームを、一定周期で間欠伝送してもよいし、伝送周期を可変制御するようにしてもよい。例えば、表示オブジェクトの動きに応じて、汎用データ・ストリームの伝送周期を制御するようにしてもよい。例えば、表示オブジェクトの動きが速い場合には１秒間隔で伝送し、表示オブジェクトのより正確な内挿位置を求め易くすることができる。逆に、表示オブジェクトの動きが遅い場合には５秒間隔にして、伝送情報量を削減（すなわち、伝送帯域を節約）するようにしてもよい。 Furthermore, the above-mentioned general-purpose data stream may be transmitted intermittently at a constant cycle, or the transmission cycle may be variably controlled. For example, the transmission cycle of the general-purpose data stream may be controlled depending on the movement of the display object. For example, if the display object moves quickly, the data can be transmitted at one second intervals to facilitate finding a more accurate interpolation position of the display object. Conversely, if the movement of the display object is slow, the transmission may be performed at intervals of 5 seconds to reduce the amount of information to be transmitted (that is, to save the transmission band).
図１３には、オブジェクト数分の表示オブジェクトに関する情報を記述した移動オブジェクト・リスト記述文書と、同文書から参照される表示データをパッケージ化した汎用データ・ストリームの構造を模式的に示している。 FIG. 13 schematically shows the structure of a moving object list description document that describes information regarding display objects for the number of objects, and a general-purpose data stream that packages display data referenced from the document.
この汎用データ・ストリームは、同期型ＭＰＵとして伝送される。図１０を参照しながら既に説明したように、汎用データ伝送の処理ではＭＰＵが処理の単位となり、ＭＰＵは複数のＭＦＵで構成される。表示オブジェクトに関する情報を汎用データで伝送する場合、移動オブジェクト・リスト記述文書と同文書から参照される表示データのパッケージが処理単位として、１つのＭＰＵで伝送される。 This general purpose data stream is transmitted as a synchronous MPU. As already explained with reference to FIG. 10, in general-purpose data transmission processing, the MPU is the unit of processing, and the MPU is composed of a plurality of MFUs. When information regarding display objects is transmitted as general-purpose data, a moving object list description document and a package of display data referenced from the document are transmitted by one MPU as a processing unit.
図１３中、参照番号１３００は、１つのパッケージを伝送するＭＰＵであり、参照番号１３１０に示す先頭のＭＦＵに移動オブジェクト・リスト記述文書を格納するとともに、この移動オブジェクト・リスト記述文書から参照される各表示オブジェクトの表示データ（画像ファイル）を後続のＭＦＵ１３２０－１、…、１３２０－Ｎに格納する。
In FIG. 13,
先頭のＭＦＵ１３１０のデータ部に格納される移動オブジェクト・リスト記述文書は、画面に表示するオブジェクト数Ｎ個分の表示オブジェクトの情報のリストからなる。図１４に示すように、４個の表示オブジェクト＃１～＃４を画面に同時に表示する場合、Ｎ＝４であり、移動オブジェクト・リスト記述文書は、４個分の表示オブジェクトに関する情報をリストする。
The moving object list description document stored in the data section of the
移動オブジェクト・リスト記述文書内では、参照番号１３１１で示す情報ブロック内に、表示オブジェクト＃１に関する情報として、表示オブジェクトを識別するタグ情報（Ｔａｇ）と、表示オブジェクトを画面上に表示する位置（Ｐｏｓｉｔｉｏｎ）及びサイズ（Ｓｉｚｅ）、内挿情報としての速度ベクトル情報（Ｖｅｃｔｏｒ）及び角速度情報（θ）、表示オブジェクトの表示データの情報（ＭｅｄｉａＤａｔａ）を含んでいる。上述したように、表示オブジェクトの情報としてハイパーリンクのＵＲＬ情報をさらに含んでいてもよい（図１３では省略）。図面の簡素化のため省略したが、他の情報ブロックも、それぞれ対応する表示オブジェクトに関する同様の情報を記述しているものと理解されたい。
In the moving object list description document, the information block indicated by
表示オブジェクトの表示データの情報（ＭｅｄｉａＤａｔａ）は、表示データの取得先情報（参照するデータ参照番号又はＵＲＬなど）で表すことができる。図１３に示す例では、表示オブジェクトの表示データ（画像ファイル）も、移動オブジェクト・リスト記述文書とパッケージ化することを想定しており、ＵＲＬなどの取得先情報は、同じＭＰＵ内で伝送される、該当する画像ファイルを格納したＭＦＵのロケーション情報を指定するものとする。あるいは、表示データ自体すなわちバイナリー・データを移動オブジェクト・リスト記述文書の情報ブロック内に記述することもできる。 Display data information (MediaData) of a display object can be represented by display data acquisition destination information (reference data reference number, URL, etc.). In the example shown in FIG. 13, it is assumed that the display data (image file) of the display object is also packaged with the moving object list description document, and the acquisition destination information such as the URL is transmitted within the same MPU. , specifies the location information of the MFU that stores the corresponding image file. Alternatively, the display data itself, that is, the binary data, can be written in the information block of the moving object list description document.
また、参照番号１３３０は、ＭＰテーブルであり、放送信号を構成する各アセット（映像、音声、字幕、データ放送アプリケーションなど）のアセット識別情報とロケーション情報を指定している。このＭＰテーブルの第２ループ内に汎用データ・ストリームのアセットに対して配置されるＭＰＵタイムスタンプ記述子１３３１で、ＭＰＵ１３００の表示時刻を指定する。すなわち、ＭＰＵタイムスタンプ記述子１３３１は、移動オブジェクト・リスト記述文書を伝送するＭＰＵ１３００のシーケンス番号をｍｐｕ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒで指定し、その表示時刻をｍｐｕ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅで指定する。
Further,
図１３では、移動オブジェクト・リスト記述文書と同文書から参照される表示データをパッケージ化して伝送するＭＰＵの構成例が示されており、各表示オブジェクトの表示データ（画像ファイル）が同じＭＰＵ内の後続のＭＦＵで伝送される。この変形例として、図１５に示すように、表示データを含まず、移動オブジェクト・リスト記述文書のＭＦＵのみからなるＭＰＵも想定される。このような移動オブジェクト・リスト記述文書は、先行するＭＰＵに含まれるＭＦＵで伝送される表示データを参照する。複数の移動オブジェクト・リスト記述文書で共通に参照される表示データを、１つの移動オブジェクト・リスト記述文書だけにパッケージ化して伝送するという方法により、伝送情報量を削減（すなわち、伝送帯域を節約）することができる。表示データの保持期限を指定する仕組みを導入することにより（後述）、受信機側では、表示データをパッケージ化したＭＰＵを受信すると、指定された保持期限まで表示データをキャッシュしておくので、後から伝送される移動オブジェクト・リスト記述文書からも保持期限までは参照することが可能である。表示データを更新するときは、改めて更新後の表示データとパッケージ化した移動オブジェクト・リスト記述文書を伝送すればよい。但し、番組の途中でチューニングしてきた受信機でも表示オブジェクトを表示できるようにするために、表示データをパッケージ化したＭＰＵを一定間隔で伝送することが好ましい。 FIG. 13 shows an example of the configuration of an MPU that packages and transmits a moving object list description document and the display data referenced from the same document, and the display data (image file) of each display object is stored in the same MPU. transmitted in subsequent MFUs. As a modification of this example, as shown in FIG. 15, an MPU that does not include display data and consists only of the MFU of the moving object list description document is also conceivable. Such a moving object list description document references display data transmitted in MFUs included in the preceding MPU. By packaging and transmitting display data that is commonly referenced in multiple moving object list description documents into only one moving object list description document, the amount of information to be transmitted is reduced (that is, transmission bandwidth is saved). can do. By introducing a mechanism for specifying a retention period for display data (described later), when the receiver side receives an MPU packaged with display data, it caches the display data until the specified retention period, so it can be stored later. It is also possible to refer to the moving object list description document transmitted from the moving object list until the retention period. When updating the display data, it is sufficient to transmit the updated display data and the packaged moving object list description document again. However, in order to be able to display the display object even on a receiver that has tuned in during the program, it is preferable to transmit the MPU packaged with display data at regular intervals.
なお、ＭＭＴ方式ではなく、ＭＰＥＧ ＴＳ方式の放送システムで同様の機能を実現する場合には、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットで同様の情報を伝送するとともに、表示時刻をＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ ＴｉｍｅＳｔａｍｐ）で示すようにすればよい。 Note that when implementing similar functions in a broadcast system using the MPEG TS method instead of the MMT method, the same information is transmitted using PES (Packetized Elementary Stream) packets, and the display time is indicated using PTS (Presentation Time Stamp). Just do it like this.
図１１には、汎用データのＭＦＵのシンタックス例１１００を示した。移動オブジェクト・リスト記述文書並びに同文書から参照される表示データの伝送に適用される場合のＭＦＵの各パラメーターの利用方法について、以下でさらに説明する。 FIG. 11 shows an example syntax 1100 of MFU of general-purpose data. The use of each parameter of the MFU as applied to the transmission of a moving object list description document and the display data referenced therein will be further described below.
参照番号１１０１で示したｄａｔａ＿ｔｙｐｅ＿ｂｙｔｅは、当該ＭＦＵで伝送するデータのタイプを、ｄａｔａ＿ｔｙｐｅ＿ｌｅｎｇｔｈで指定したデータ長の文字列で指定する。図１３に示したＭＰＵ内のＭＦＵは、移動オブジェクト・リスト記述文書（ＭＯＬＤ）、又は、表示データの画像ファイルのいずれかを伝送する。ｄａｔａ＿ｔｙｐｅ＿ｂｙｔｅの文字列が指定するデータのタイプを、以下の表２に示しておく。移動オブジェクト・リスト記述文書であれば「ｍｌｄ」、ＪＰＥＧ形式の表示データであれば「ｊｐｇ」、ＰＮＧ形式の表示データであれば「ｐｎｇ」を、ｄａｔａ＿ｔｙｐｅ＿ｂｙｔｅで指定するようにすればよい。 data_type_byte indicated by reference number 1101 specifies the type of data transmitted by the MFU using a character string having the data length specified by data_type_length. The MFU in the MPU shown in FIG. 13 transmits either a moving object list description document (MOLD) or an image file of display data. The type of data specified by the character string data_type_byte is shown in Table 2 below. If it is a moving object list description document, "mld", if it is display data in JPEG format, "jpg", if it is display data in PNG format, "png" may be specified in data_type_byte.
また、参照番号１１０２で示した付加情報領域（ａｄｄｉｔｉｏｎａｌ＿ｉｎｆｏ＿ｂｙｔｅ）には、データ部に格納するデータに応じた付加情報が記述される。すなわち、移動オブジェクト・リスト記述文書を伝送するＭＦＵであれば、移動オブジェクト・リスト記述文書用の付加情報が記述される。また、それ以外すなわち表示データなど表示オブジェクトの素材（ｍａｔｅｒｉａｌ）を伝送するＭＦＵの場合には、素材に関する付加情報が付加情報領域に記述される。 Further, in the additional information area (additional_info_byte) indicated by reference number 1102, additional information corresponding to the data stored in the data section is written. That is, if the MFU transmits a moving object list description document, additional information for the moving object list description document is written. In addition, in the case of an MFU that transmits a display object material such as display data, additional information regarding the material is written in the additional information area.
参照番号１１０３で示したデータ部（ｄａｔａ＿ｂｙｔｅ）には、当該ＭＦＵで伝送される汎用データ自体が格納される。先行するパラメーターｄａｔａ＿ｔｙｐｅ＿ｂｙｔｅで「ｍｌｄ」、すなわち移動オブジェクト・リスト記述文書が指定されている場合には、このデータ部には移動オブジェクト・リスト記述文書のファイルが格納される。また、ｄａｔａ＿ｔｙｐｅ＿ｂｙｔｅで「ｊｐｇ」又は「ｐｎｇ」が指定されている場合には、このデータ部にはＪＰＥＧ形式又はＰＮＧ形式の表示データのファイルが格納される。 The data portion (data_byte) indicated by reference number 1103 stores the general-purpose data itself transmitted by the MFU. If "mld", that is, a moving object list description document is specified in the preceding parameter data_type_byte, the file of the moving object list description document is stored in this data section. Further, when "jpg" or "png" is specified in data_type_byte, a file of display data in JPEG format or PNG format is stored in this data section.
図１６には、移動オブジェクト・リスト記述文書を伝送するＭＦＵにおける付加情報（ｍｏｌｄ＿ｉｎｆｏ）のシンタックス例１６００を示している。以下、付加情報（ｍｏｌｄ＿ｉｎｆｏ）の各パラメーターの意味について説明する。 FIG. 16 shows an example syntax 1600 of additional information (mold_info) in an MFU that transmits a moving object list description document. The meaning of each parameter of the additional information (mold_info) will be explained below.
ｍａｔｅｒｉａｌ＿ｌｏｃａｔｉｏｎは、当該（すなわち、データ部に格納される）移動オブジェクト・リスト記述文書から参照される表示データの取得先情報を２ビットで示すフィールドである。ｍａｔｅｒｉａｌ＿ｌｏｃａｔｉｏｎの値が示す意味を、以下の表３に示しておく。表示データを移動オブジェクト・リスト記述文書と同じＭＰＵで伝送する場合には（図１３を参照のこと）、ｍａｔｅｒｉａｌ＿ｌｏｃａｔｉｏｎに００を指定する。また、表示データを以前のＭＰＵで伝送した場合には、ｍａｔｅｒｉａｌ＿ｌｏｃａｔｉｏｎに０１を指定する。また、表示データをインターネット上で参照する場合には、ｍａｔｅｒｉａｌ＿ｌｏｃａｔｉｏｎに１０を指定する。ｍａｔｅｒｉａｌ＿ｌｏｃａｔｉｏｎに０１並びに１０を指定する場合、移動オブジェクト・リスト記述文書と同じＭＰＵ内に表示データをパッケージ化しないので（図１５を参照のこと）、伝送帯域が節約される。後述するように、表示データを伝送するＭＦＵは、保持期限を指定することができる。したがって、既に送信済みの表示データが保持期限内であれば、ｍａｔｅｒｉａｌ＿ｌｏｃａｔｉｏｎに０１を指定することができる。 material_location is a field that indicates, in 2 bits, information on the acquisition location of the display data referenced from the moving object list description document (that is, stored in the data section). The meanings of the values of material_location are shown in Table 3 below. When transmitting display data using the same MPU as the moving object list description document (see FIG. 13), specify 00 for material_location. Furthermore, if the display data was transmitted by the previous MPU, 01 is specified for material_location. Furthermore, when referring to display data on the Internet, specify 10 for material_location. When specifying 01 and 10 for material_location, the display data is not packaged in the same MPU as the moving object list description document (see FIG. 15), so transmission bandwidth is saved. As described below, the MFU transmitting display data can specify a retention period. Therefore, if the display data that has already been sent is within the retention period, 01 can be specified for material_location.
ｅｓｔｉｍａｌｅｄ＿ｎｅｘｔ＿ＭＰＵ＿ｔｉｍｅは、（移動オブジェクト・リスト記述文書を伝送する）次のＭＰＵの予測伝送時刻を示す。受信機側では、次のＭＰＵの予測伝送時刻を考慮して、表示オブジェクトの表示位置を内挿する（図１３を参照のこと）。 estimated_next_MPU_time indicates the estimated transmission time of the next MPU (transmitting the moving object list description document). On the receiver side, the display position of the display object is interpolated in consideration of the predicted transmission time of the next MPU (see FIG. 13).
また、図１７には、移動オブジェクト・リスト記述文書から参照される素材（表示データ）を伝送するＭＦＵにおける付加情報（ｍａｔｅｒｉａｌ＿ｉｎｆｏ）のシンタックス例１７００を示している。以下、付加情報（ｍａｔｅｒｉａｌ＿ｉｎｆｏ）の各パラメーターの意味について説明する。 Further, FIG. 17 shows an example syntax 1700 of additional information (material_info) in the MFU that transmits the material (display data) referenced from the moving object list description document. The meaning of each parameter of the additional information (material_info) will be explained below.
ｍａｔｅｒｉａｌ＿ｎａｍｅ＿ｌｅｎｇｔｈは、後続の素材名記述（ｍａｔｅｒｉａｌ＿ｎａｍｅ＿ｂｙｔｅ）の長さをバイト単位で示す。ｍａｔｅｒｉａｌ＿ｎａｍｅ＿ｂｙｔｅは、当該ＭＦＵのデータ部で伝送される素材を移動オブジェクト・リスト記述文書から参照するときに使用される素材参照名を格納する領域である。 material_name_length indicates the length of the subsequent material name description (material_name_byte) in bytes. material_name_byte is an area for storing a material reference name used when referencing the material transmitted in the data section of the MFU from the moving object list description document.
ｐｅｒｓｉｓｔｅｎｔ＿ｆｌａｇは、当該ＭＦＵのデータ部（ｄａｔａ＿ｂｙｔｅ）に格納される表示データ（ＪＰＥＧ又はＰＮＧ画像ファイル）を、受信機が当該ＭＰＵの処理が終了した後も保持すべきか否かを指定するデータ保持フラグである。そして、ｐｅｒｓｉｓｔｅｎｔ＿ｆｌａｇに１が指定されている場合には、ｅｘｐｉｒｅ＿ｄａｔｅフィールドに、当該ＭＦＵのデータ部に格納される表示データの保持期限が記述される。 persistent_flag is a data retention flag that specifies whether the receiver should retain the display data (JPEG or PNG image file) stored in the data section (data_byte) of the MFU even after the processing of the MPU is finished. be. If 1 is specified in the persistent_flag, the expiration date for display data stored in the data section of the MFU is written in the expire_date field.
データ保持フラグやデータ保持期限は、汎用データ・ヘッダー部でＭＦＵ毎、すなわち表示データ毎に指定することができる。 The data retention flag and data retention period can be specified for each MFU, that is, for each display data, in the general-purpose data header section.
受信機側では、汎用データ・ヘッダー部のｐｅｒｓｉｓｔｅｎｔ＿ｆｌａｇに１が指定されている表示データを、当該ＭＰＵの処理が終了した後も、ｅｘｐｉｒｅ＿ｄａｔｅで指定される保持期限に渡って保持（キャッシュ）し続ける。保持されている表示データは、以降のＭＰＵで伝送される移動オブジェクト・リスト記述文書からも参照（すなわち再利用）することができる。要するに、後続のＭＰＵは、移動オブジェクト・リスト記述文書から参照する表示データをパッケージ化して同じＭＰＵで伝送する必要はなくなるので、伝送帯域を節約することができる。 On the receiver side, the display data for which 1 is specified in persistent_flag of the general-purpose data header section continues to be retained (cache) for the retention period specified by expire_date even after the processing of the MPU is completed. The retained display data can also be referenced (ie, reused) from the moving object list description document transmitted by the subsequent MPU. In short, subsequent MPUs do not need to package display data referenced from the moving object list description document and transmit it using the same MPU, so transmission bandwidth can be saved.
図１８には、移動オブジェクト・リスト記述文書のシンタックス例１８００を示している。ＭＦＵの汎用データ・ヘッダー部内のパラメーターｄａｔａ＿ｔｙｐｅ＿ｂｙｔｅで「ｍｌｄ」が指定されたときには、そのデータ部には図示のような移動オブジェクト・リスト記述文書が格納される。同図中、先頭に＠が付されたパラメーターは属性情報であり、＠が付されていないパラメーターは要素を示す。以下、各パラメーターの意味について説明する。 FIG. 18 shows an example syntax 1800 of a moving object list description document. When "mld" is specified in the parameter data_type_byte in the general-purpose data header section of the MFU, a moving object list description document as shown is stored in the data section. In the figure, parameters with @ at the beginning are attribute information, and parameters without @ indicate elements. The meaning of each parameter will be explained below.
ｍｏｌｄは、当該データが移動オブジェクト・リスト記述文書であることを示す。同時に画面に表示するオブジェクト数分だけ、移動オブジェクトｍｏの情報が当該文書内に配置される。 mold indicates that the data is a moving object list description document. Information on moving objects mo is arranged in the document as many times as there are objects to be simultaneously displayed on the screen.
各移動オブジェクトｍｏは、オブジェクト・タグで識別される。ｍｏＴａｇフィールドには属性値としてのオブジェクト・タグが記述される。 Each moving object mo is identified with an object tag. An object tag as an attribute value is written in the moTag field.
各移動オブジェクトｍｏの情報として、オブジェクトの位置情報（ｐｏｓｉｔｉｏｎ）、オブジェクトのサイズ情報（ｓｉｚｅ）、オブジェクトの動きベクトル情報（ｍｖ）、オブジェクトの表示データに関する情報（ｍｅｄｉａ）、オブジェクト操作時のリンク先情報（ｌｉｎｋ）を含んでいる。 Information on each moving object mo includes object position information (position), object size information (size), object motion vector information (mv), information regarding object display data (media), and link destination information when operating the object. Contains (link).
オブジェクトの位置情報（ｐｏｓｉｔｉｏｎ）は、画面上でのオブジェクトの表示位置（矩形領域であれば、左上隅）の水平座標ｘと垂直座標ｙを属性値として含み、それぞれ画素位置を整数値で示す。 The position information (position) of the object includes the horizontal coordinate x and vertical coordinate y of the display position of the object on the screen (in the case of a rectangular area, the upper left corner) as attribute values, and each indicates the pixel position as an integer value.
オブジェクトのサイズ情報（ｓｉｚｅ）は、画面上に表示するオブジェクトのサイズを示す、矩形領域の幅ｘと高さｙを属性値として含み、それぞれ画素値（整数値）で示す。 The size information (size) of the object includes the width x and height y of a rectangular area as attribute values, which indicate the size of the object displayed on the screen, and each is expressed as a pixel value (integer value).
オブジェクトの動きベクトル情報（ｍｖ）は、オブジェクトの水平方向速度ｘ及び垂直方向速度ｙからなる速度ベクトルと、角速度情報θ（但し、オブジェクトの移動が弧で表現される曲線運動の場合）を属性値として含み、それぞれを示す整数値が記述される。受信機側では、動きベクトル情報（ｍｖ）を、次のＭＰＵ（すなわち、次の移動オブジェクト・リスト記述文書）のタイミングまでのオブジェクトの内挿位置を求めるために利用することができる（前述）。 The motion vector information (mv) of an object is a velocity vector consisting of the horizontal velocity x and vertical velocity y of the object, and the angular velocity information θ (in the case of a curved motion expressed by an arc) as an attribute value. , and an integer value indicating each is written. On the receiver side, the motion vector information (mv) can be utilized to determine the interpolated position of the object up to the timing of the next MPU (ie, the next moving object list description document) (described above).
表示データに関する情報（ｍｅｄｉａ）は、オブジェクトの表示データのタイプｔｙｐｅ（ＪＰＥＧ又はＰＮＧ）と、オブジェクトの表示データの取得先情報を示す。表示データの取得先は、同一のＭＰＵ内、以前のＭＰＵ、又はインターネット上のいずれかに大別され、汎用データ・ヘッダー部の付加情報（ｍｏｌｄ＿ｉｎｆｏ）内のパラメーターｍａｔｅｒｉａｌ＿ｌｏｃａｔｉｏｎで指定される（前述）。表示データの取得先情報は、ｍａｔｅｒｉａｌ＿ｌｏｃａｔｉｏｎで指定される場所での取得先をｕｒｌ形式で指定し、ｕｒｌ指定される取得先には表示データのタイプで指定される形式の画像ファイルが置かれていることが前提である。なお、表示データの取得先情報に０を指定した場合には、表示データのタイプ領域に、表示データのバイナリー・データを格納するようにしてもよい。 Information regarding display data (media) indicates the type of display data of the object (JPEG or PNG) and information on the source of the display data of the object. The display data acquisition location is broadly classified as within the same MPU, a previous MPU, or on the Internet, and is specified by the parameter material_location in the additional information (mold_info) of the general-purpose data header section (described above). The display data acquisition destination information specifies the acquisition destination at the location specified by material_location in URL format, and the image file in the format specified by the display data type is located at the acquisition destination specified by the URL. This is the premise. Note that when 0 is specified in the display data acquisition source information, binary data of the display data may be stored in the display data type area.
オブジェクト操作時のリンク先情報（ｌｉｎｋ）は、オブジェクトのリンク先情報をｕｒｌ形式で指定する。映像の視聴者が表示オブジェクトを操作した場合、リンク先情報（ｌｉｎｋ）で指定されるリンク先から情報を取得して表示することができる。 The link destination information (link) when operating an object specifies the link destination information of the object in URL format. When a video viewer operates a display object, information can be obtained from a link destination specified by link destination information (link) and displayed.
図１９には、表示オブジェクトの表示位置を、移動オブジェクト・リスト記述文書で指定される内挿情報に基づいて補間する仕組みを図解している。参照番号１９０１は、あるタイミングＴ１で送信された移動オブジェクト・リスト記述文書で指定される表示オブジェクトの表示位置（Ｘ１，Ｙ１）を示している。また、参照番号１９０２は、次のタイミングＴ２で送信された移動オブジェクト・リスト記述文書で指定される、同じ表示オブジェクトの表示位置（Ｘ２，Ｙ２）を示している。参照番号１９１１～１９１４は、タイミングの時間間隔を細分化した時刻毎の内挿位置とする。タイミングＴ１で送信された移動オブジェクト・リスト記述文書では、この表示オブジェクトの内挿情報として、速度ベクトル（ｘ，ｙ）と角速度θが指定されているとする。速度ベクトル（ｘ，ｙ）に基づいて、細分化した時刻毎の内挿位置１９１１、…を線形補間することが可能であり、さらに角速度θに基づいて内挿位置１９１１、…を弧の曲線補間することが可能である。 FIG. 19 illustrates a mechanism for interpolating the display position of a display object based on interpolation information specified in a moving object list description document. Reference number 1901 indicates the display position (X1, Y1) of the display object specified in the moving object list description document transmitted at a certain timing T1. Further, reference number 1902 indicates the display position (X2, Y2) of the same display object specified in the moving object list description document transmitted at the next timing T2. Reference numbers 1911 to 1914 are interpolation positions for each time when the timing interval is subdivided. It is assumed that the moving object list description document transmitted at timing T1 specifies a velocity vector (x, y) and angular velocity θ as interpolation information for this display object. Based on the velocity vector (x, y), it is possible to linearly interpolate the interpolated positions 1911, ... for each subdivided time, and further, based on the angular velocity θ, the interpolated positions 1911, ... can be interpolated by arc curve interpolation. It is possible to do so.
映像に表示オブジェクトをオーバーレイ表示するアプリケーションを実行するアプリケーション・エンジン４１１は、汎用データ・ストリームで伝送される移動オブジェクト・リスト記述文書を逐次取得するとともに、内挿情報に基づいて補間することで、映像の動きに合わせて滑らかに移動する表示オブジェクトを表示することができる。
An
図２０には、移動オブジェクト・リスト記述文書を汎用データ・ストリームで伝送するシナリオを例示している。同図では、ある放送事業者（放送局）から送信される放送信号を例示しており、横軸を時間軸とする。放送信号は、放送番組を構成するコンポーネントとして、映像アセット２０１０、音声アセット２０２０、データ（アプリケーション）・アセット２０３０、汎用データ・アセット２０４０を含んでいる。放送信号は、さらに他のアセットを含んでいてもよいが、図面の簡素化のため省略する。 FIG. 20 illustrates a scenario in which a moving object list description document is transmitted in a generic data stream. In the figure, a broadcast signal transmitted from a certain broadcaster (broadcasting station) is illustrated, and the horizontal axis is the time axis. The broadcast signal includes a video asset 2010, an audio asset 2020, a data (application) asset 2030, and a general-purpose data asset 2040 as components constituting the broadcast program. The broadcast signal may further include other assets, but these are omitted to simplify the drawing.
また、放送信号には、ＭＰテーブルなどのシグナリング・テーブル、シグナリング・テーブルのコンテナーとなるシグナリング・メッセージなど、制御情報（ＭＭＴ－ＳＩ）を伝送する制御信号２０５０を含んでいる。 The broadcast signal also includes a control signal 2050 that transmits control information (MMT-SI), such as a signaling table such as an MP table, and a signaling message serving as a container for the signaling table.
同図では、データ・アセット２０３０では、放送番組の映像に対して表示オブジェクトのオーバーレイ表示を行なうデータ放送アプリケーションを伝送し、汎用データ・アセット２０４０では、表示オブジェクトの制御情報すなわち移動オブジェクト・リスト記述文書を汎用データ・ストリームとして間欠的に伝送することを想定している。また、汎用データ・アセット２０４０で伝送される各ＭＰＵの表示時刻は、ＭＰテーブルのＭＰＵタイムスタンプ記述子で指定される（前述）。 In the figure, a data asset 2030 transmits a data broadcasting application that performs overlay display of a display object on a video of a broadcast program, and a general-purpose data asset 2040 transmits control information of display objects, that is, a moving object list description document. It is assumed that the data will be transmitted intermittently as a general-purpose data stream. Additionally, the display time of each MPU transmitted in the general purpose data asset 2040 is specified by the MPU timestamp descriptor of the MP table (described above).
参照番号２０４１は、移動オブジェクト・リスト記述文書とこれから参照される表示オブジェクトの表示データ（画像ファイル）をパッケージ化したＭＰＵを示している。先頭のＭＦＵのデータ部に移動オブジェクト・リスト記述文書が格納され、２番目以降のＭＦＵには、この移動オブジェクト・リスト記述文書から参照される表示データが１つずつ格納されている（図１３を参照のこと）。 Reference number 2041 indicates an MPU in which a moving object list description document and display data (image file) of a display object to be referenced are packaged. A moving object list description document is stored in the data section of the first MFU, and display data referenced from this moving object list description document is stored in each of the second and subsequent MFUs (see FIG. 13). (see ).
また、参照番号２０４２は、表示データをパッケージ化しないＭＰＵを示している。このＭＰＵは、移動オブジェクト・リスト記述文書を格納する１つのＭＦＵのみを伝送する。この移動オブジェクト・リスト記述文書からは、先行するＭＰＵ２０４１で既に伝送された表示データが参照されている（図１５を参照のこと）。但し、参照される表示データは、ＭＦＵの汎用データ・ヘッダー部で、ｐｅｒｓｉｓｔｅｎｔ＿ｆｌａｇによりデータ保持が指定され、且つ、ｅｘｐｉｒｅ＿ｄａｔｅで指定されるデータ保持期限が経過していないことが前提である。参照番号２０４３で示すＭＰＵも、同様に、移動オブジェクト・リスト記述文書のＭＦＵのみを伝送する。複数の移動オブジェクト・リスト記述文書で共通に参照される表示データを、１つの移動オブジェクト・リスト記述文書だけにパッケージ化して伝送するという方法により、伝送情報量を削減（すなわち、伝送帯域を節約）することができる。 Further, reference number 2042 indicates an MPU that does not package display data. This MPU transmits only one MFU that stores a moving object list description document. This moving object list description document refers to the display data already transmitted by the preceding MPU 2041 (see FIG. 15). However, it is assumed that the referenced display data is a general-purpose data header section of the MFU, and that data retention is specified by persistent_flag, and that the data retention period specified by expire_date has not passed. Similarly, the MPU designated by reference number 2043 transmits only the MFU of the moving object list description document. By packaging and transmitting display data that is commonly referenced in multiple moving object list description documents into only one moving object list description document, the amount of information to be transmitted is reduced (that is, transmission bandwidth is saved). can do.
参照番号２０４４は、移動オブジェクト・リスト記述文書とこれから参照される表示オブジェクトの表示データをパッケージ化したＭＰＵを示している。参照番号２０４１で示したＭＰＵと同様に、先頭のＭＦＵのデータ部に移動オブジェクト・リスト記述文書が格納され、２番目以降のＭＦＵには、この移動オブジェクト・リスト記述文書から参照される表示データが１つずつ格納されている（同上）。 Reference number 2044 indicates an MPU that packages a moving object list description document and display data of a display object to be referenced. Similar to the MPU indicated by reference number 2041, a moving object list description document is stored in the data section of the first MFU, and display data referenced from this moving object list description document is stored in the second and subsequent MFUs. They are stored one by one (same as above).
表示データを更新したときは、改めて更新後の表示データとパッケージ化した移動オブジェクト・リスト記述文書を含むＭＰＵ２０４４を伝送すればよい。あるいは、番組の途中でチューニングしてきた受信機でも表示オブジェクトを表示できるようにするために、ＭＰＵ２０４１を送信してから一定時間が経過した後に、表示データをパッケージ化したＭＰＵ２０４４を伝送する。 When the display data is updated, the MPU 2044 including the updated display data and the packaged moving object list description document may be transmitted again. Alternatively, in order to be able to display the display object even on a receiver that has tuned in during the program, the MPU 2044 packaged with display data is transmitted after a certain period of time has elapsed since the MPU 2041 was transmitted.
参照番号２０５１で示すＭＰテーブル内のＭＰＵタイムスタンプ記述子は、参照番号２０４１で示したＭＰＵで伝送される移動オブジェクト・リスト記述文書による表示オブジェクトの表示時刻Ｔ１０を指定している。同様に、参照番号２０５２で示すＭＰテーブル内のＭＰＵタイムスタンプ記述子は参照番号２０４２で示したＭＰＵの表示時刻Ｔ２０を指定し、参照番号２０５３で示すＭＰテーブル内のＭＰＵタイムスタンプ記述子は参照番号２０４３で示したＭＰＵの表示時刻Ｔ３０を指定し、参照番号２０５４で示すＭＰテーブル内のＭＰＵタイムスタンプ記述子は参照番号２０４４で示したＭＰＵの表示時刻を指定している。 The MPU timestamp descriptor in the MP table indicated by reference number 2051 specifies the display time T10 of the display object according to the moving object list description document transmitted by the MPU indicated by reference number 2041. Similarly, the MPU timestamp descriptor in the MP table indicated by reference number 2052 specifies the display time T20 of the MPU indicated by reference number 2042, and the MPU timestamp descriptor in the MP table indicated by reference number 2053 specifies the display time T20 of the MPU indicated by reference number 2042. The MPU display time T30 indicated by 2043 is specified, and the MPU timestamp descriptor in the MP table indicated by reference number 2054 specifies the MPU display time indicated by reference number 2044.
受信機側では、放送波で伝送されるＭＰＵ２０４１を受信すると、先頭のＭＦＵで伝送される移動オブジェクト・リスト記述文書を解析するとともに、２番目以降のＭＦＵで伝送される表示データを、ヘッダー部で指定されている保持期限だけ保持する。 When the receiver side receives the MPU 2041 transmitted by broadcast waves, it analyzes the moving object list description document transmitted by the first MFU, and also displays the display data transmitted by the second and subsequent MFUs in the header section. Retains only for the specified retention period.
そして、ＭＰテーブル２０５１のＭＰＵタイムスタンプ記述子で指定する表示時刻Ｔ１０が到来すると、受信機は、ＭＰＵ２０４１で受信した移動オブジェクト・リスト記述文書の記述内容に従って、参照番号２０６１で示すように、各表示オブジェクトを放送番組の映像にオーバーレイ表示する。 Then, when the display time T10 specified by the MPU timestamp descriptor of the MP table 2051 arrives, the receiver displays each display as indicated by reference number 2061 according to the description content of the moving object list description document received by the MPU 2041. Display objects as overlays on broadcast program video.
また、受信機は、次のＭＰＵ２０４２に対して指定された表示時刻Ｔ２０が到来するまでの間は、時間間隔を細分化した時刻Ｔ１１において、移動オブジェクト・リスト記述文書で各表示オブジェクトに対して指定された内挿情報（速度ベクトル、角速度）に基づいて内挿位置を求めて、参照番号２０６２で示すように、各表示オブジェクトの表示を更新する。 In addition, until the display time T20 specified for the next MPU 2042 arrives, the receiver specifies for each display object in the moving object list description document at time T11, which is obtained by subdividing the time interval. The interpolation position is determined based on the obtained interpolation information (velocity vector, angular velocity), and the display of each display object is updated as indicated by reference number 2062.
その後、ＭＰテーブル２０５２のＭＰＵタイムスタンプ記述子で指定する表示時刻Ｔ２０が到来すると、受信機は、ＭＰＵ２０４２で受信した移動オブジェクト・リスト記述文書の記述内容に従って、参照番号２０６３で示すように、先行するＭＰＵ２０４１で伝送した表示データを参照して、各表示オブジェクトを放送番組の映像にオーバーレイ表示する。 Thereafter, when the display time T20 specified by the MPU timestamp descriptor of the MP table 2052 arrives, the receiver performs the preceding operation as indicated by reference number 2063 according to the description content of the moving object list description document received by the MPU 2042. Referring to the display data transmitted by the MPU 2041, each display object is displayed as an overlay on the video of the broadcast program.
図２１には、受信機が汎用データ・ストリームを受信する際の処理手順をフローチャートの形式で示している。図示の処理手順は、ＨＴＭＬブラウザー（アプリケーション・エンジン４１１）において、受信及びデコードした汎用データを取得する処理に相当する。 FIG. 21 shows, in the form of a flowchart, the processing procedure when a receiver receives a general-purpose data stream. The illustrated processing procedure corresponds to the process of acquiring received and decoded general-purpose data in the HTML browser (application engine 411).
受信機は、放送サービスのエントリー・ポイントであるＰＡメッセージでＭＰテーブルを受信すると、汎用データ・アセットのＭＰＵタイムスタンプ記述子が存在するかどうかをチェックする（ステップＳ２１０１）。 When the receiver receives an MP table in a PA message, which is the entry point for the broadcast service, it checks whether an MPU timestamp descriptor exists for the general data asset (step S2101).
汎用データ・アセットのＭＰＵタイムスタンプ記述子が存在する場合には（ステップＳ２１０１のＹｅｓ）、受信機は、そのＭＰＵタイムスタンプ記述子の情報、すなわちＭＰＵシーケンス番号とその提示時刻を記憶しておく（ステップＳ２１０２）。 If the MPU timestamp descriptor of the general-purpose data asset exists (Yes in step S2101), the receiver stores the information of the MPU timestamp descriptor, that is, the MPU sequence number and its presentation time ( Step S2102).
また、受信機は、汎用データ・アセットのＭＰＵを受信すると（ステップＳ２１０３のＹｅｓ）、そのＭＰＵシーケンス番号を指定するＭＰＵタイムスタンプ記述子の情報とともに汎用データＭＰＵを記憶する（ステップＳ２１０４）。 Further, when the receiver receives the MPU of the general-purpose data asset (Yes in step S2103), the receiver stores the general-purpose data MPU together with the information of the MPU timestamp descriptor that specifies the MPU sequence number (step S2104).
ここで、ＭＰＵの先頭のＭＦＵ（すなわち、移動オブジェクト・リスト記述文書を伝送するＭＦＵ）の汎用データ・ヘッダー部内のｍａｔｅｒｉａｌ＿ｌｏｃａｔｉｏｎを参照する。そして、ｍａｔｅｒｉａｌ＿ｌｏｃａｔｉｏｎ＝１０、すなわち表示データの取得先がインターネット上に指定されている場合には（ステップＳ２１０５のＹｅｓ）、受信機は、そのＭＦＵのデータ部に格納される移動オブジェクト・リスト記述文書で指定されている表示データ取得先のＵＲＬに基づいて、各表示オブジェクトの表示データ（画像ファイル）を取得しておく（ステップＳ２１０６）。 Here, material_location in the general data header section of the first MFU of the MPU (ie, the MFU that transmits the moving object list description document) is referenced. If material_location=10, that is, the display data acquisition location is specified on the Internet (Yes in step S2105), the receiver uses the moving object list description document stored in the data section of the MFU. The display data (image file) of each display object is acquired based on the specified URL of the display data acquisition destination (step S2106).
また、図２２には、受信機が汎用データ・ストリームに基づいて映像に同期する表示オブジェクトをオーバーレイ表示するための処理手順をフローチャートの形式で示している。図示の処理手順は、ＨＴＭＬブラウザー（アプリケーション・エンジン４１１）において、最新の汎用データに基づいて表示オブジェクトの表示を更新する処理に相当する。 Further, FIG. 22 shows, in the form of a flowchart, a processing procedure for the receiver to overlay display objects synchronized with the video based on the general-purpose data stream. The illustrated processing procedure corresponds to a process of updating the display of a display object based on the latest general-purpose data in the HTML browser (application engine 411).
受信機は、映像フレームの表示タイミングが到来する度に（ステップＳ２２０１のＹｅｓ）、記憶したＭＰＵタイムスタンプ記述子で指定されるＭＰＵ提示時刻と一致するか否かをチェックする（ステップＳ２２０２）。 Each time the display timing of a video frame arrives (Yes in step S2201), the receiver checks whether it matches the MPU presentation time specified by the stored MPU time stamp descriptor (step S2202).
そして、今回の表示タイミングが、記憶しておいたＭＰＵタイムスタンプ記述子で指定されるＭＰＵ提示時刻である場合には（ステップＳ２２０２のＹｅｓ）、受信機は、該当するＭＰＵの先頭のＭＦＵで伝送される移動オブジェクト・リスト記述文書の記述に基づいて、素材データを参照して、表示オブジェクトを映像フレームにオーバーレイ表示する（ステップＳ２２０３）。 If the current display timing is the MPU presentation time specified by the stored MPU timestamp descriptor (Yes in step S2202), the receiver refers to the material data based on the description of the moving object list description document transmitted in the first MFU of the corresponding MPU, and overlays the display object on the video frame (step S2203).
また、受信機は、この提示時刻のＭＰＵより前に受信したＭＰＵにパッケージ化されていた表示データのうち、データ保持フラグ（ｐｅｒｓｉｓｔｅｎｔ＿ｆｌａｇ）が１に設定されている以外の表示データは削除する（ステップＳ２２０４）。 In addition, the receiver deletes display data other than those whose data retention flag (persistent_flag) is set to 1 among the display data packaged in the MPU received before the MPU of this presentation time (step S2204).
さらに、受信機は、保持している表示データがすべて保持期限内かどうかをチェックする（ステップＳ２２０５）。そして、保持期限が経過している表示データがある場合には、削除する（ステップＳ２２０６）。 Furthermore, the receiver checks whether all the display data it holds is within the retention period (step S2205). If there is display data whose retention period has passed, it is deleted (step S2206).
また、今回の表示タイミングが、記憶しておいたＭＰＵタイムスタンプ記述子で指定されるＭＰＵ提示時刻でない場合には（ステップＳ２２０２のＮｏ）、受信機は、処理対象となっているＭＰＵの移動オブジェクト・リスト記述文書にリストされている表示オブジェクト毎に、動きベクトル（ｍｖ）の要素情報（すなわち、速度ベクトル情報並びに角速度情報）に基づいて、現在時刻における内挿位置を補間計算して、オブジェクトの表示を更新する（ステップＳ２２０７）。 Furthermore, if the current display timing is not the MPU presentation time specified by the stored MPU timestamp descriptor (No in step S2202), the receiver displays the moving object of the MPU to be processed. - For each display object listed in the list description document, the interpolation position at the current time is calculated based on the element information of the motion vector (mv) (i.e. velocity vector information and angular velocity information), and the interpolation position of the object is calculated. The display is updated (step S2207).
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。 The techniques disclosed herein have been described in detail with reference to specific embodiments. However, it is obvious that those skilled in the art can modify or substitute the embodiments without departing from the gist of the technology disclosed herein.
本明細書では、メディア伝送にＭＭＴ方式を採用した放送システムに本明細書で開示する技術を適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。データ放送アプリケーションで利用するデータのストリーミングを行なう仕組みを備えたさまざまなタイプの放送システムに、同様に本明細書で開示する技術を適用することができる。例えば、ＭＰＥＧ ＴＳ方式の放送システムで同様の機能を実現する場合には、ＰＥＳパケットで同様の情報を伝送するとともに、表示時刻をＰＴＳで示すようにすればよい。 Although this specification has mainly described an embodiment in which the technology disclosed in this specification is applied to a broadcasting system that adopts the MMT method for media transmission, the gist of the technology disclosed in this specification is not limited to this. It's not something you can do. The technology disclosed herein can be similarly applied to various types of broadcasting systems equipped with mechanisms for streaming data used in data broadcasting applications. For example, if a similar function is to be implemented in an MPEG TS broadcasting system, similar information may be transmitted using PES packets, and the display time may be indicated using PTS.
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。 In short, the technology disclosed in this specification has been explained in the form of an example, and the contents of this specification should not be interpreted in a limited manner. In order to determine the gist of the technology disclosed in this specification, the claims should be considered.
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）映像を含む放送信号を送信する送信部と、
前記映像の動きに同期して移動するオブジェクトを表示するためのデータを送信するデータ送信部と、
を具備する送信装置。
（２）前記データ送信部は、前記オブジェクトの画面上の位置及びサイズと、前記オブジェクトの表示データに関する情報を含む前記データを送信する、
上記（１）に記載の送信装置。
（３）前記データ送信部は、前記データの表示時刻を示すタイムスタンプとともに、前記データを間欠的に送信する、
上記（１）又は（２）のいずれかに記載の送信装置。
（４）前記データ送信部は、次のタイミングまでの前記オブジェクトの内挿位置を求めるための補間情報を含めて、前記データを間欠的に送信する、
上記（１）乃至（３）のいずれかに記載の送信装置。
（５）前記データ送信部は、前記オブジェクトの速度ベクトル情報又は角速度情報のうち少なくとも１つを含む前記補間情報を送信する、
上記（４）に記載の送信装置。
（６）前記データ送信部は、前記オブジェクトのリンク先情報を含めて前記データを送信する、
上記（１）乃至（５）のいずれかに記載の送信装置。
（７）前記データ送信部は、前記オブジェクトの画面上の位置及びサイズと表示データの参照先を所定の形式で記述した文書ファイルを送信する、
上記（１）に記載の送信装置。
（８）前記データ送信部は、前記文書ファイルと前記文書ファイルから参照される表示データのファイルをパッケージ化して、パッケージ単位で送信する、
上記（７）に記載の送信装置。
（９）前記データ送信部は、前記パッケージに含める各表示データの保持の要否及び保持期限を指定して送信する、
上記（８）に記載の送信装置。
（１０）前記データ送信部は、他の文書ファイルとともにパッケージ化して送信された表示データのファイルを参照する前記文書ファイルをさらに送信する、
上記（９）に記載の送信装置。
（１１）映像を含む放送信号を送信する送信ステップと、
前記映像の動きに同期して移動するオブジェクトを表示するためのデータを送信するデータ送信ステップと、
を有する送信方法。
（１２）映像を含む放送信号を受信する受信部と、
前記映像の動きに同期して移動するオブジェクトを表示するためのデータを受信するデータ受信部と、
受信した前記データに基づいて、放送映像の画面上に前記オブジェクトを表示するための処理を実行する制御部と、
を具備する受信装置。
（１３）前記データ受信部は、前記オブジェクトの画面上の位置及びサイズと、前記オブジェクトの表示データに関する情報を含む前記データを受信し、
前記制御部は、前記データで指定された画面上の位置及びサイズに前記オブジェクトの表示データを表示させる、
上記（１２）に記載の受信装置。
（１４）前記データ受信部は、前記データの表示時刻を示すタイムスタンプとともに、前記データを間欠的に受信し、
前記制御部は、前記タイムスタンプが指定する表示時刻に基づいて前記オブジェクトの表示タイミングを制御する、
上記（１２）又は（１３）のいずれかに記載の受信装置。
（１５）前記データ受信部は、次のタイミングまでの前記オブジェクトの内挿位置を求めるための補間情報を含めて、前記データを間欠的に受信し、
前記制御部は、前記補間情報に基づいて求まる内挿位置に前記オブジェクトを表示させる、
上記（１４）に記載の受信装置。
（１６）前記データ受信部は、前記オブジェクトの画面上の位置及びサイズと表示データの参照先を所定の形式で記述した文書ファイルを受信する、
上記（１２）に記載の受信装置。
（１７）前記データ受信部は、前記文書ファイルと前記文書ファイルから参照される表示データのファイルからなるパッケージ単位で受信する、
上記（１６）に記載の受信装置。
（１８）前記データ受信部は、各表示データの保持の要否及び保持期限が指定された前記パッケージを受信し、
前記制御部は、前記保持期限が経過するまで表示データを保持する、
上記（１７）に記載の受信装置。
（１９）前記データ受信部は、他の文書ファイルとともにパッケージ化して送信された表示データのファイルを参照する前記文書ファイルをさらに受信し、
前記制御部は、前記文書ファイルから参照される、他の文書ファイルとともにバッケージ化して送信された表示データを用いてオブジェクトを表示させる、
上記（１８）に記載の受信装置。
（２０）映像を含む放送信号を受信する受信ステップと、
前記映像の動きに同期して移動するオブジェクトを表示するためのデータを受信するデータ受信ステップと、
受信した前記データに基づいて、放送映像の画面上に前記オブジェクトを表示するための処理を実行する制御ステップと、
を有する受信方法。
Note that the technology disclosed in this specification can also have the following configuration.
(1) A transmitter that transmits a broadcast signal including video;
a data transmitter that transmits data for displaying an object that moves in synchronization with the movement of the video;
A transmitting device comprising:
(2) the data transmitting unit transmits the data including information regarding the position and size of the object on the screen and display data of the object;
The transmitting device according to (1) above.
(3) the data transmitter intermittently transmits the data together with a timestamp indicating a display time of the data;
The transmitting device according to any one of (1) or (2) above.
(4) The data transmitter intermittently transmits the data including interpolation information for determining the interpolation position of the object up to the next timing;
The transmitting device according to any one of (1) to (3) above.
(5) the data transmitting unit transmits the interpolation information including at least one of velocity vector information or angular velocity information of the object;
The transmitting device according to (4) above.
(6) the data transmitting unit transmits the data including link destination information of the object;
The transmitting device according to any one of (1) to (5) above.
(7) The data transmission unit transmits a document file that describes the position and size of the object on the screen and the reference destination of the display data in a predetermined format.
The transmitting device according to (1) above.
(8) The data transmission unit packages the document file and a file of display data referenced from the document file, and transmits the package in units of packages.
The transmitting device according to (7) above.
(9) The data transmitter specifies whether or not to retain each display data included in the package and a retention period, and transmits the data.
The transmitting device according to (8) above.
(10) The data transmission unit further transmits the document file that refers to the display data file packaged and transmitted with other document files.
The transmitting device according to (9) above.
(11) a transmitting step of transmitting a broadcast signal including video;
a data transmitting step of transmitting data for displaying an object that moves in synchronization with the movement of the video;
A transmission method with
(12) a receiving unit that receives a broadcast signal including video;
a data receiving unit that receives data for displaying an object that moves in synchronization with the movement of the video;
a control unit that executes processing for displaying the object on a broadcast video screen based on the received data;
A receiving device comprising:
(13) the data receiving unit receives the data including information regarding the position and size of the object on the screen and display data of the object;
the control unit displays display data of the object at a position and size on the screen specified by the data;
The receiving device according to (12) above.
(14) The data receiving unit intermittently receives the data together with a time stamp indicating a display time of the data;
The control unit controls display timing of the object based on a display time specified by the timestamp.
The receiving device according to any one of (12) or (13) above.
(15) The data receiving unit intermittently receives the data including interpolation information for determining the interpolation position of the object up to the next timing,
The control unit displays the object at an interpolation position determined based on the interpolation information.
The receiving device according to (14) above.
(16) The data receiving unit receives a document file in which the position and size of the object on the screen and the reference destination of the display data are described in a predetermined format.
The receiving device according to (12) above.
(17) The data receiving unit receives the document file and a file of display data referenced from the document file in units of packages.
The receiving device according to (16) above.
(18) The data receiving unit receives the package in which the necessity and retention period of each display data is specified;
The control unit retains the display data until the retention period expires.
The receiving device according to (17) above.
(19) The data receiving unit further receives the document file that refers to the display data file packaged and transmitted with other document files,
The control unit displays an object using display data referenced by the document file and transmitted in a package together with other document files.
The receiving device according to (18) above.
(20) a receiving step of receiving a broadcast signal including video;
a data receiving step of receiving data for displaying an object that moves in synchronization with the movement of the video;
a control step of executing processing for displaying the object on a broadcast video screen based on the received data;
A reception method having
１０…ディジタル放送システム、１１…放送送出システム、１２…受信機
３０１…時計部、３０２…信号送出部
３０３…ビデオ・エンコーダー、３０４…オーディオ・エンコーダー
３０５…字幕／文字スーパー・エンコーダー
３０６…シグナリング・エンコーダー、３０７…ファイル・エンコーダー
３０８…電子データ処理システム、
３０９…ＴＬＶシグナリング・エンコーダー
３１０…ＩＰサービス・マルチプレクサー
３１１…ＴＬＶマルチプレクサー、３１２…変調・送信部
４０１…チューナー復調部、４０２…ＭＭＴデマルチプレクサー
４０３…時計回復部、４０４…ビデオ・デコーダー
４０５…オーディオ・デコーダー
４０６…文字スーパー・デコーダー、４０７…字幕デコーダー
４０８…マルチメディア・キャッシュ、４０９…ＳＩキャッシュ
４１０…放送システム制御部、４１１…アプリケーション・エンジン
４１２…通信インターフェース、４１４…スケーラー
４１５～４１８…合成部
DESCRIPTION OF
309...
Claims (4)
重畳表示データを表示するための所定の形式で記述した文書ファイルを送信するデータ送信ステップと、
を有し、
前記データ送信ステップでは、前記重畳表示データの位置情報と、次に文書ファイルを送信するタイミングまでの間の少なくとも１つの時刻の前記重畳表示データの内挿位置に関する情報を含む補間情報を含めて、前記文書ファイルを送信する、
送信方法。 a transmitting step of transmitting a broadcast signal including an IP packetized video signal;
a data sending step of sending a document file written in a predetermined format for displaying the superimposed display data;
has
In the data transmitting step, including interpolation information including position information of the superimposed display data and information regarding an interpolation position of the superimposed display data at at least one time before the timing of transmitting the next document file, transmitting the document file;
How to send.
重畳表示データを表示するための所定の形式で記述した文書ファイルを送信するデータ送信部と、
を具備し、
前記データ送信部は、前記重畳表示データの位置情報と、次に文書ファイルを送信するタイミングまでの間の少なくとも１つの時刻の前記重畳表示データの内挿位置に関する情報を含む補間情報を含めて、前記文書ファイルを送信する、
送信装置。 a transmitter that transmits a broadcast signal including an IP packetized video signal;
a data transmitter that transmits a document file written in a predetermined format for displaying the superimposed display data;
Equipped with
The data transmitting unit includes interpolation information including position information of the superimposed display data and information regarding an interpolation position of the superimposed display data at at least one time before the timing of transmitting the next document file, transmitting the document file;
Transmitting device.
重畳表示データを表示するための所定の形式で記述した文書ファイルを受信するデータ受信ステップと、
受信した前記文書ファイルに基づいて、前記映像信号に基づく画面上に前記重畳表示データを表示するための処理を実行する制御ステップと、
を有し、
前記文書ファイルには、前記重畳表示データの位置情報と、次に文書ファイルが送信されるタイミングまでの間の少なくとも１つの時刻の前記重畳表示データの内挿位置に関する情報を含む補間情報が含まれており、
前記制御ステップでは、前記位置情報と前記補間情報に基づいて求まる内挿位置に前記重畳表示データを表示させる、
受信方法。 a receiving step of receiving a broadcast signal including an IP packetized video signal;
a data receiving step of receiving a document file written in a predetermined format for displaying the superimposed display data;
a control step of executing processing for displaying the superimposed display data on a screen based on the video signal, based on the received document file;
has
The document file includes interpolation information including position information of the superimposed display data and information regarding an interpolation position of the superimposed display data at at least one time before the next time the document file is transmitted. and
In the control step, the superimposed display data is displayed at an interpolation position determined based on the position information and the interpolation information.
How to receive.
重畳表示データを表示するための所定の形式で記述した文書ファイルを受信するデータ受信部と、
受信した前記文書ファイルに基づいて、前記映像信号に基づく画面上に前記重畳表示データを表示するための処理を実行する制御部と、
を具備し、
前記文書ファイルには、前記重畳表示データの位置情報と、次に文書ファイルが送信されるタイミングまでの間の少なくとも１つの時刻の前記重畳表示データの内挿位置に関する情報を含む補間情報が含まれており、
前記制御部は、前記位置情報と前記補間情報に基づいて求まる内挿位置に前記重畳表示データを表示させる、
受信装置。 a receiving unit that receives a broadcast signal including an IP packetized video signal;
a data receiving unit that receives a document file written in a predetermined format for displaying superimposed display data;
a control unit that executes processing for displaying the superimposed display data on a screen based on the video signal, based on the received document file;
Equipped with
The document file includes interpolation information including position information of the superimposed display data and information regarding an interpolation position of the superimposed display data at at least one time before the next time the document file is transmitted. and
The control unit displays the superimposed display data at an interpolation position determined based on the position information and the interpolation information.
Receiving device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024011700A JP2024040224A (en) | 2020-10-26 | 2024-01-30 | Method for transmission, transmitter, method for reception, and receiver |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020178933A JP6935843B2 (en) | 2019-12-11 | 2020-10-26 | Transmitter and transmission method, and receiver and reception method |
| JP2021134352A JP7160161B2 (en) | 2020-10-26 | 2021-08-19 | Transmission method and transmission device, and reception method and reception device |
| JP2022163924A JP7439879B2 (en) | 2020-10-26 | 2022-10-12 | Transmission method and transmitting device, and receiving method and receiving device |
| JP2024011700A JP2024040224A (en) | 2020-10-26 | 2024-01-30 | Method for transmission, transmitter, method for reception, and receiver |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022163924A Division JP7439879B2 (en) | 2020-10-26 | 2022-10-12 | Transmission method and transmitting device, and receiving method and receiving device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024040224A true JP2024040224A (en) | 2024-03-25 |
Family
ID=78767609
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021134352A Active JP7160161B2 (en) | 2020-10-26 | 2021-08-19 | Transmission method and transmission device, and reception method and reception device |
| JP2022163924A Active JP7439879B2 (en) | 2020-10-26 | 2022-10-12 | Transmission method and transmitting device, and receiving method and receiving device |
| JP2024011700A Pending JP2024040224A (en) | 2020-10-26 | 2024-01-30 | Method for transmission, transmitter, method for reception, and receiver |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021134352A Active JP7160161B2 (en) | 2020-10-26 | 2021-08-19 | Transmission method and transmission device, and reception method and reception device |
| JP2022163924A Active JP7439879B2 (en) | 2020-10-26 | 2022-10-12 | Transmission method and transmitting device, and receiving method and receiving device |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP7160161B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7160161B2 (en) * | 2020-10-26 | 2022-10-25 | ソニーグループ株式会社 | Transmission method and transmission device, and reception method and reception device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3052997B2 (en) * | 1996-01-12 | 2000-06-19 | 日本電気株式会社 | Handwriting input display device |
| JP2006311362A (en) * | 2005-04-28 | 2006-11-09 | Toshiba Corp | Digital broadcasting receiver |
| JP2007221257A (en) * | 2006-02-14 | 2007-08-30 | Victor Co Of Japan Ltd | Digital broadcast receiver |
| JPWO2013011696A1 (en) * | 2011-07-21 | 2015-02-23 | パナソニック株式会社 | Transmission device, reception reproduction device, transmission method, and reception reproduction method |
| EP2744196A1 (en) * | 2011-08-11 | 2014-06-18 | Panasonic Corporation | Hybrid broadcast and communication system, data generation device, and receiver |
| KR20130089358A (en) * | 2012-02-02 | 2013-08-12 | 한국전자통신연구원 | Method and apparatus of providing additive information for contents in broadcast system |
| WO2014038055A1 (en) * | 2012-09-07 | 2014-03-13 | 日立コンシューマエレクトロニクス株式会社 | Reception device |
| JP7160161B2 (en) * | 2020-10-26 | 2022-10-25 | ソニーグループ株式会社 | Transmission method and transmission device, and reception method and reception device |
-
2021
- 2021-08-19 JP JP2021134352A patent/JP7160161B2/en active Active
-
2022
- 2022-10-12 JP JP2022163924A patent/JP7439879B2/en active Active
-
2024
- 2024-01-30 JP JP2024011700A patent/JP2024040224A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022186781A (en) | 2022-12-15 |
| JP2021184641A (en) | 2021-12-02 |
| JP7439879B2 (en) | 2024-02-28 |
| JP7160161B2 (en) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9948990B2 (en) | Method for transmitting and receiving the broadcast signals, and broadcast reception device using said method | |
| US9225443B2 (en) | Method for transmitting broadcast service, method for receiving the broadcasting service, and apparatus for receiving the broadcasting service | |
| KR101476934B1 (en) | Method for transceiving media files and device for transmitting/receiving using same | |
| US9215497B2 (en) | Method for transmitting a broadcast service, and method and apparatus for receiving same | |
| US9769518B2 (en) | Method for transmitting a broadcast service, method for receiving a broadcast service, and apparatus for receiving a broadcast service | |
| WO2016194549A1 (en) | Transmission device, transmission method, reception device, and reception method | |
| JP2014530558A (en) | Media data synchronization method and apparatus for multimedia broadcast service | |
| US20140204271A1 (en) | Method for transmitting a broadcast service, method for receiving a broadcast service, and apparatus for receiving a broadcast service | |
| JP2024040224A (en) | Method for transmission, transmitter, method for reception, and receiver | |
| KR20180040571A (en) | Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method, and broadcast signal reception method | |
| WO2016199527A1 (en) | Transmission device, transmission method, reception device, and reception method | |
| JP6935843B2 (en) | Transmitter and transmission method, and receiver and reception method | |
| JP6791344B2 (en) | Transmission device and transmission method, and reception device and reception method | |
| JP6303969B2 (en) | Receiving apparatus and receiving method | |
| JP6551558B2 (en) | Receiving apparatus and receiving method | |
| JP6988974B2 (en) | Transmission method and transmission device | |
| JP2022019878A (en) | Receiving method and receiving device | |
| JP2019161677A (en) | Receiving device, receiving method, and transmitting method | |
| WO2016185794A1 (en) | Transmission device, transmission method, reception device, and reception method | |
| JP2016197789A (en) | Transmitter and transmission method, receiver and reception method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240201 |