JP6671120B2 - Transmitting device, transmitting method, receiving device and receiving method - Google Patents
Transmitting device, transmitting method, receiving device and receiving method Download PDFInfo
- Publication number
- JP6671120B2 JP6671120B2 JP2015153166A JP2015153166A JP6671120B2 JP 6671120 B2 JP6671120 B2 JP 6671120B2 JP 2015153166 A JP2015153166 A JP 2015153166A JP 2015153166 A JP2015153166 A JP 2015153166A JP 6671120 B2 JP6671120 B2 JP 6671120B2
- Authority
- JP
- Japan
- Prior art keywords
- stream
- picture
- image data
- layer
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本技術は、送信装置、送信方法、受信装置および受信方法に関し、複数のサービスのビデオストリームを連続的に送信する送信装置等に関する。 The present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and relates to a transmission device that continuously transmits video streams of a plurality of services.
放送において、画像フォーマット、例えばフレームレートを異にする複数のサービスを混在させて送信することが考えられる。例えば、スポーツ系の番組は１２０Ｐのサービスで提供し、その他は６０Ｐのサービスとする、などである。 In broadcasting, it is conceivable that a plurality of services having different image formats, for example, frame rates, are mixed and transmitted. For example, sports programs are provided by a 120P service, and others are provided by a 60P service.
従来、例えば、ＨＥＶＣ（High Efficiency Video Coding）において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている（非特許文献１参照）。受信側では、ＮＡＬ（Network Abstraction Layer）ユニットのヘッダに挿入されているテンポラルＩＤ（temporal_id）情報に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。 Conventionally, for example, in HEVC (High Efficiency Video Coding), temporal scalability has been proposed by hierarchically encoding image data of each picture constituting moving image data (see Non-Patent Document 1). The receiving side can identify the layer of each picture based on the temporal ID (temporal_id) information inserted in the header of the NAL (Network Abstraction Layer) unit, and can selectively decode up to the layer corresponding to the decoding capability. Become.
本技術の目的は、サービス切り替え時における表示ミュートの発生を容易に回避することにある。 An object of the present technology is to easily avoid occurrence of display mute at the time of service switching.
本技術の概念は、
動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記送信部は、
上記第１から第Ｎのストリームのそれぞれに固定の識別子を付与する
送信装置にある。
The concept of this technology is
An image encoding unit that encodes image data of each picture constituting the moving image data to generate a video stream,
A transmitting unit that transmits a container of a predetermined format including the first video stream and the second video stream continuously generated by the image encoding unit,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
The transmission unit,
The transmitting apparatus assigns a fixed identifier to each of the first to Nth streams.
本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオストリームが生成される。送信部により、画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナが送信される。例えば、第１のビデオストリームと第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含む、ようにされてもよい。 In the present technology, the image encoding unit encodes image data of each picture constituting moving image data to generate a video stream. The transmitting unit transmits a container of a predetermined format that continuously includes the first video stream and the second video stream generated by the image encoding unit. For example, the first video stream and the second video stream may include at least the basic stream among the basic stream and the extension stream.
第１のビデオストリームおよび第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成される。そして、送信部により、第１から第Ｎのストリームのそれぞれに固定の識別子が付与される。 The first video stream and the second video stream are configured by first to Mth (M ≦ N) streams among the first to Nth streams. Then, a fixed identifier is assigned to each of the first to Nth streams by the transmission unit.
このように本技術によれば、各ストリームに固定の識別子が付与されるものである。そのたえめ、受信側では、サービスが切り替わる場合にあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。 As described above, according to the present technology, a fixed identifier is assigned to each stream. Therefore, on the receiving side, even when the service is switched, it is not necessary to change the setting of the filter for extracting each stream, so that the occurrence of display mute can be suppressed and seamless display can be performed.
なお、本技術において、例えば、送信部は、第１のビデオストリームの送信期間において、常には、この第１のビデオストリームを構成する各ストリームの識別子情報をコンテナのレイヤに挿入して送信し、第２のビデオストリームの送信期間が開始される直前のタイミングでこの第２のビデオストリームを構成する各ストリームの識別情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、現在受信しているビデオストリームを構成する各ストリームの識別子を容易に把握でき、さらに、切り替え後に受信されるビデオストリームを構成する各ストリームの識別子を、切り替え前に容易に把握可能となる。 In the present technology, for example, during the transmission period of the first video stream, the transmission unit always inserts the identifier information of each stream constituting the first video stream into the layer of the container and transmits the information. At the timing immediately before the transmission period of the second video stream starts, identification information of each stream constituting the second video stream may be inserted into the layer of the container and transmitted. In this case, on the receiving side, the identifier of each stream constituting the currently received video stream can be easily grasped, and further, the identifier of each stream constituting the video stream received after switching can be easily identified before switching. It becomes possible to grasp.
また、本技術において、例えば、各ビデオストリームの送信期間において、第１から第Ｎの各ストリームの識別情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、第１から第Ｎの各ストリームの識別情報を、常に把握可能となる。 Further, in the present technology, for example, during the transmission period of each video stream, the identification information of each of the first to Nth streams may be inserted into the layer of the container and transmitted. In this case, the receiving side can always grasp the identification information of each of the first to N-th streams.
また、本技術において、例えば、送信部は、各ビデオストリームの送信期間において、切り替え情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、例えば、切り替え情報は、第２のビデオストリームが持つ符号化画像データのフレームレート情報および/またはストリーム構成情報を含む、ようにされてもよい。この場合、受信側では、切り替え後に受信されるビデオストリームのフレームレート等の切り替え情報を、切り替え前に容易に把握可能となる。 In the present technology, for example, the transmission unit may be configured to insert the switching information into the layer of the container and transmit the switching information during the transmission period of each video stream. In this case, for example, the switching information may include frame rate information and / or stream configuration information of the encoded image data of the second video stream. In this case, the receiving side can easily grasp the switching information such as the frame rate of the video stream received after the switching before the switching.
また、本技術において、例えば、第１のビデオストリームおよび第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームにより構成される、ようにされてもよい。この場合、例えば、基本ストリームにより構成されるビデオストリームは、第１のフレームレートの符号化画像データを持ち、基本ストリームおよび拡張ストリームにより構成されるビデオストリームは、第１のフレームレートの２倍の第２のフレームレートの符号化画像データを持つ、ようにされてもよい。 In the present technology, for example, the first video stream and the second video stream may be configured to include at least the basic stream among the basic stream and the extension stream. In this case, for example, a video stream composed of the basic stream has coded image data of a first frame rate, and a video stream composed of the basic stream and the extension stream is twice as large as the first frame rate. It may have encoded image data of the second frame rate.
また、本技術において、例えば、画像符号化部は、動画像データを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化すると共に、複数の階層をＭ個の階層組に分割し、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、各ビデオストリームの第１から第Ｍのストリームを生成し、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする、ようにされてもよい。この階層符号化により、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避可能となる。 Further, in the present technology, for example, the image encoding unit classifies the image data of each picture constituting the moving image data into a plurality of layers, and encodes the image data of the classified picture of each layer, A plurality of hierarchies are divided into M hierarchical sets, and first to M-th streams of each video stream having encoded image data of pictures of each of the divided hierarchical sets are generated. Hierarchical encoding may be performed so that the hierarchies of pictures included in each of the M streams fall in mutually independent ranges assigned in advance. By this layer coding, it is possible to avoid a mismatch between the system layer and the video layer as to which stream includes the predetermined layer.
また、本技術において、例えば、送信部は、第１のビデオストリームの送信期間において、常には、この第１のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、第２のビデオストリームの送信期間が開始される直前のタイミングでこの第２のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、現在受信しているビデオストリームを構成する各ストリームの階層範囲を容易に把握でき、さらに、切り替え後に受信されるビデオストリームを構成する各ストリームの階層範囲を、切り替え前に容易に把握可能となる。 Further, in the present technology, for example, during the transmission period of the first video stream, the transmission unit always inserts the hierarchical range information of the picture of each stream constituting the first video stream into the layer of the container. At the timing immediately before the transmission period of the second video stream is started, the hierarchical range information of the picture of each stream constituting the second video stream is inserted into the layer of the container and transmitted. You may. In this case, the receiving side can easily grasp the hierarchical range of each stream constituting the currently received video stream, and furthermore, determine the hierarchical range of each stream constituting the video stream received after switching before switching. It can be easily grasped.
また、本技術において、例えば、第１のビデオストリームおよび第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、画像符号化部は、拡張ストリームに含めるピクチャの階層が一つとなるように符号化する、ようにされてもよい。そして、この場合、例えば、送信部は、各ビデオストリームの送信期間において、ビデオストリームに基本ストリームのみが含まれるとき、基本ストリームのピクチャの階層範囲情報と共に、拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する、ようにされてもよい。 Further, in the present technology, for example, the first video stream and the second video stream include at least the basic stream of the basic stream and the extension stream, and the image encoding unit includes one layer of pictures to be included in the extension stream. May be encoded as follows. Then, in this case, for example, during the transmission period of each video stream, when only the basic stream is included in the video stream, the transmitting unit transmits the hierarchical range information of the picture of the extension stream together with the hierarchical range information of the picture of the basic stream. It may be inserted into the layer of the container and transmitted.
また、本技術の他の概念は、
符号化画像データを持つ第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを受信する受信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記第１から第Ｎのストリームのそれぞれに固定の識別子が付与されており、
上記第１のビデオストリームおよび上記第２のビデオストリームに含まれる各ストリームを、それぞれ、付与されている識別子に基づいてフィルタリングして処理する処理部をさらに備える
受信装置にある。
Another concept of the present technology is
A receiving unit configured to receive a container of a predetermined format including a first video stream and a second video stream having encoded image data continuously,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
A fixed identifier is assigned to each of the first to Nth streams,
The receiving apparatus further includes a processing unit that filters and processes each of the streams included in the first video stream and the second video stream based on the assigned identifier.
本技術において、受信部により、符号化画像データを持つ第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナが受信される。ここで、第１のビデオストリームおよび第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、第１から第Ｎのストリームのそれぞれに固定の識別子が付与されている。そして、処理部により、第１のビデオストリームおよび第２のビデオストリームに含まれる各ストリームが、それぞれ、付与されている識別子に基づいてフィルタリングされて処理される。 In the present technology, the receiving unit receives a container of a predetermined format that continuously includes the first video stream having the encoded image data and the second video stream. Here, the first video stream and the second video stream are composed of first to M-th (M ≦ N) streams among the first to N-th streams. A fixed identifier is given. Then, the processing unit filters and processes each of the streams included in the first video stream and the second video stream based on the assigned identifier.
このように本技術によれば、各ストリームに固定の識別子が付与されるものである。そのため、サービスが切り替わる場合にあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。 As described above, according to the present technology, a fixed identifier is assigned to each stream. Therefore, even when the service is switched, it is not necessary to change the setting of the filter for extracting each stream, so that the occurrence of display mute can be suppressed and seamless display can be performed.
なお、本技術において、例えば、各ビデオストリームの第１から第Ｍのストリームは、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、該分類された各階層のピクチャの画像データが符号化されると共に、複数の階層がＭ個の階層組に分割され、この分割された各階層組のピクチャの符号化画像データをそれぞれ持ち、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されている、ようにされてもよい。この階層符号化により、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避される。 In the present technology, for example, in the first to M-th streams of each video stream, the image data of each picture constituting the moving image data is classified into a plurality of layers, and the image of the classified picture of each layer is classified. The data is encoded, and the plurality of layers are divided into M layer sets, each of which has coded image data of a picture in each of the divided layer sets, and each of the first to Mth streams. Hierarchical coding may be performed so that the hierarchies of pictures to be included fall within mutually independent ranges assigned in advance. By this layer coding, it is possible to avoid a mismatch between the system layer and the video layer as to which stream includes the predetermined layer.
また、本技術の他の概念は、
符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記画像符号化部は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層をＭ個の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、上記各ビデオストリームの上記第１から第Ｍのストリームを生成し、
上記第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化する
送信装置にある。
Another concept of the present technology is
An image encoding unit that generates a video stream having encoded image data;
A transmitting unit that transmits a container of a predetermined format including the first video stream and the second video stream continuously generated by the image encoding unit,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
The image encoding unit includes:
Classifying the image data of each picture constituting the moving image data into a plurality of layers, encoding the image data of the classified pictures of the respective layers, and dividing the plurality of layers into a set of M layers; Generating the first to M-th streams of each of the video streams, each having encoded image data of a picture of each of the divided hierarchical sets,
There is a transmission apparatus that performs layer coding so that the layers of pictures included in each of the first to Mth streams fall within mutually pre-assigned independent ranges.
本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオストリームが生成される。送信部により、画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナが送信される。第１のビデオストリームおよび第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成される。 In the present technology, the image encoding unit encodes image data of each picture constituting moving image data to generate a video stream. The transmitting unit transmits a container of a predetermined format that continuously includes the first video stream and the second video stream generated by the image encoding unit. The first video stream and the second video stream are configured by first to Mth (M ≦ N) streams among the first to Nth streams.
画像符号化部は、動画像データを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化すると共に、複数の階層をＭ個の階層組に分割し、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、各ビデオストリームの第１から第Ｍのストリームを生成し、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする。 The image encoding unit classifies the image data of each picture constituting the moving image data into a plurality of layers, encodes the image data of the pictures of the classified layers, and divides the plurality of layers into M layers. A first to an M-th stream of each video stream having the coded image data of the picture of each of the divided hierarchical sets is generated and included in each of the first to M-th streams. Hierarchical encoding is performed so that the picture layers fall within mutually independent ranges assigned in advance.
このように本技術によれば、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されるものである。そのため、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避可能となる。 As described above, according to the present technology, hierarchical coding is performed so that the layers of the pictures included in each of the first to Mth streams fall within mutually independent ranges assigned in advance. Therefore, it is possible to avoid a mismatch between the system layer and the video layer as to which stream includes the predetermined layer.
なお、本技術において、例えば、送信部は、第１のビデオストリームの送信期間において、常には、この第１のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、第２のビデオストリームの送信期間が開始される直前のタイミングでこの第２のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、現在受信しているビデオストリームを構成する各ストリームの階層範囲を容易に把握でき、さらに、切り替え後に受信されるビデオストリームを構成する各ストリームの階層範囲を、切り替え前に容易に把握可能となる。 In the present technology, for example, during the transmission period of the first video stream, the transmission unit always inserts the hierarchical range information of the picture of each stream included in the first video stream into the layer of the container. At the timing immediately before the transmission period of the second video stream starts, the layer range information of the picture of each stream included in the second video stream is inserted into the layer of the container and transmitted. You may. In this case, the receiving side can easily grasp the hierarchical range of each stream constituting the currently received video stream, and furthermore, determine the hierarchical range of each stream constituting the video stream received after switching before switching. It can be easily grasped.
また、本技術において、第１のビデオストリームおよび第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、拡張ストリームに含まれるピクチャの階層は一つとされている、ようにされてもよい。この場合、例えば、送信部は、各ビデオストリームの送信期間において、このビデオストリームに基本ストリームのみが含まれるとき、基本ストリームのピクチャの階層範囲情報と共に、拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する、ようにされてもよい。 In the present technology, the first video stream and the second video stream include at least the basic stream among the basic stream and the extension stream, and the extension stream has one layer of pictures. You may. In this case, for example, during the transmission period of each video stream, when only the basic stream is included in this video stream, the transmitting unit transmits the hierarchical range information of the picture of the extension stream together with the And transmitting it by inserting it into the other layer.
本技術によれば、サービス切り替え時における表示ミュートの発生を容易に回避できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
According to the present technology, it is possible to easily avoid occurrence of display mute at the time of service switching.
Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
Hereinafter, embodiments for carrying out the invention (hereinafter, referred to as “embodiments”) will be described. The description will be made in the following order.
1.
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
<1. Embodiment>
[Transmission / reception system]
FIG. 1 shows a configuration example of a transmission /
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、複数のサービスのビデオストリームが連続的に含まれる。この場合、各ビデオストリームは、第１からＮのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームで構成される。この場合、第１からＮのストリームのそれぞれに固定のＰＩＤ（パケット識別子）が付与される。
The
また、各ビデオストリームを構成する第１から第Ｍのストリームは、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、この分類された各階層のピクチャの画像データが符号化されると共に、複数の階層がＭ個の階層組に分割され、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つものとされる。この場合、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化される。 In the first to M-th streams constituting each video stream, the image data of each picture constituting the moving image data is classified into a plurality of layers, and the image data of the pictures of each of the classified layers is encoded. At the same time, the plurality of hierarchies are divided into M hierarchical sets, and each of the divided hierarchical sets has coded image data of a picture. In this case, the layers are hierarchically encoded such that the layers of the pictures included in each of the first to M-th streams fall within mutually independent ranges assigned in advance.
図２は、サービス切換えのケースの一例を示している。図２（ａ）は、２１６０/６０/ｐのビデオフォーマットのサービスから、２１６０/１２０/ｐのビデオフォーマットのサービスへの切替えを示している。この場合、１ストリームから２ストリームへの切替えとなる。図２（ｂ）は、１０８０/６０/ｐのビデオフォーマットのサービスから、２１６０/６０/ｐのビデオフォーマットのサービスへの切替えを示している。この場合、１ストリームから１ストリームへの切替えとなる。 FIG. 2 shows an example of a service switching case. FIG. 2A shows switching from the service of the video format of 2160/60 / p to the service of the video format of 2160/120 / p. In this case, switching from one stream to two streams is performed. FIG. 2B shows switching from the service of the video format of 1080/60 / p to the service of the video format of 2160/60 / p. In this case, switching from one stream to one stream is performed.
図２（ｃ）は、１０８０/６０/ｐのビデオフォーマットのサービスから、２１６０/１２０/ｐのビデオフォーマットのサービスへの切替えを示している。この場合、１ストリームから２ストリームへの切替えとなる。図２（ｄ）は、２１６０/１２０/ｐのビデオフォーマットのサービスから、１０８０/６０/ｐのビデオフォーマットのサービスへの切替えを示している。この場合、２ストリームから１ストリームへの切替えとなる。 FIG. 2C shows switching from a video format service of 1080/60 / p to a service of video format of 2160/120 / p. In this case, switching from one stream to two streams is performed. FIG. 2D shows switching from a video format service of 2160/120 / p to a video format service of 1080/60 / p. In this case, switching from two streams to one stream is performed.
図２（ｅ）は、１０８０/６０/ｐのビデオフォーマットのサービスから、１０８０/６０/ｉのビデオフォーマットのサービスへの切替えを示している。この場合、１ストリームから１ストリームへの切替えとなる。図２（ｆ）は、２１６０/６０/ｐのビデオフォーマットの３番組サービスから、４３２０/６０/ｐのビデオフォーマットのサービスへの切替えを示している。この場合、３ストリームから１ストリームへの切替えとなる FIG. 2E shows switching from the service of the video format of 1080/60 / p to the service of the video format of 1080/60 / i. In this case, switching from one stream to one stream is performed. FIG. 2 (f) shows switching from the 3 program service of the 2160/60 / p video format to the service of the 4320/60 / p video format. In this case, switching from three streams to one stream is performed.
図３は、階層符号化の一例を示し、矩形枠のそれぞれがピクチャを示している。図３（ａ）は、最上位階層が３とされた例であって、０から３の階層の全てが基本ストリームの階層範囲とされた例である。この例では、０から３の全ての階層にピクチャが存在している。図３（ｂ）は、最上位階層が３とされた例であって、０から３の階層の全てが基本ストリームの階層範囲とされた例である。この例では、３の階層にはピクチャが存在しておらず、階層ギャップとなっている。図３（ｃ）は、最上位階層が３とされた例であって、０から３の階層の全てが基本ストリームの階層範囲とされた例である。この例では、２の階層にはピクチャが存在しておらず、階層ギャップとなっている。 FIG. 3 shows an example of hierarchical coding, in which each rectangular frame represents a picture. FIG. 3A is an example in which the highest layer is set to 3, and all the layers from 0 to 3 are set as the layer range of the basic stream. In this example, pictures exist in all layers from 0 to 3. FIG. 3B shows an example in which the highest layer is set to 3, and all layers from 0 to 3 are set as the layer range of the basic stream. In this example, no picture exists in the third layer, which is a layer gap. FIG. 3C shows an example in which the highest layer is set to 3, and all layers from 0 to 3 are set as the layer range of the basic stream. In this example, no picture exists in the second layer, which is a layer gap.
図３（ｄ）は、最上位階層が４とされた例であって、０から３の階層が基本ストリームの階層範囲とされ、４の階層が拡張ストリームの階層範囲とされた例である。この例では、３の階層にはピクチャが存在しておらず、階層ギャップとなっている。図３（ｅ）は、最上位階層が３とされた例であって、０から２の階層が基本ストリームの階層範囲とされ、３の階層が拡張ストリームの階層範囲とされた例である。この例では、０から３の全ての階層にピクチャが存在している。
FIG. 3D shows an example in which the highest layer is set to 4, where 0 to 3 layers are set as the layer range of the basic stream, and 4 layers are set as the layer range of the extension stream. In this example, no picture exists in the third layer, which is a layer gap. FIG. 3E shows an example in which the highest layer is set to 3, in which the layers from 0 to 2 are set as the layer range of the basic stream, and the
階層符号化においては、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５/ＨＥＶＣなどの符号化が施され、被参照ピクチャが自己階層および／または自己階層よりも低い階層に所属するように符号化される。各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報（temporal_id）が付加される。各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）を意味する“nuh_temporal_id_plus1”）が配置される。このように階層識別情報が付加されることで、受信側では、各ピクチャの所属階層を知ることができる。 In hierarchical coding, for example, H.264 / AVC, H.264. Encoding such as H.265 / HEVC is performed, and the referenced picture is encoded so as to belong to its own layer and / or a layer lower than its own layer. Layer identification information (temporal_id) for identifying the layer to which the layer belongs is added to the coded image data of the picture of each layer for each picture. In the header portion of the NAL unit (nal_unit) of each picture, “nuh_temporal_id_plus1” meaning hierarchical identification information (temporal_id) is arranged. By adding the layer identification information in this way, the receiving side can know the layer to which each picture belongs.
図４（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図４（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「Nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、０を前提とする。「Nuh_temporal_id_plus1」の３ビットフィールドは、temporal_idを示し、１を加えた値（１〜６）をとる。 FIG. 4A shows a structural example (Syntax) of the NAL unit header, and FIG. 4B shows contents (Semantics) of main parameters in the structural example. In the 1-bit field of “Forbidden_zero_bit”, 0 is essential. A 6-bit field of “Nal_unit_type” indicates a NAL unit type. It is assumed that the 6-bit field of “Nuh_layer_id” is 0. The 3-bit field of “Nuh_temporal_id_plus1” indicates temporal_id, and takes a value (1 to 6) obtained by adding “1”.
各サービスのビデオストリームの送信期間において、コンテナのレイヤに、ＰＩＤ（パケット識別子）情報が挿入される。この場合、例えば、以下の第１、第２のＰＩＤ情報挿入態様のいずれかで挿入される。このＰＩＤ情報は、例えば、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に挿入される。 In the transmission period of the video stream of each service, PID (packet identifier) information is inserted into the container layer. In this case, for example, it is inserted in one of the following first and second PID information insertion modes. This PID information is inserted, for example, under a program map table (PMT: Program Map Table).
「第１のＰＩＤ情報挿入態様」
第１のＰＩＤ情報挿入態様では、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのＰＩＤ情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのＰＩＤ情報が挿入される。
"First PID information insertion mode"
In the first PID information insertion mode, in the transmission period of a video stream of a certain service, PID information of each stream constituting the video stream is always inserted, and the transmission period of the video stream of the next service is started. At the immediately preceding timing, the PID information of each stream constituting this video stream is inserted.
「第２のＰＩＤ情報挿入態様」
第２のＰＩＤ情報挿入態様では、各サービスのビデオストリームの送信期間おいて、第１から第Ｎの各ストリームのＰＩＤ情報が挿入される。
"Second PID information insertion mode"
In the second PID information insertion mode, PID information of each of the first to Nth streams is inserted during the transmission period of the video stream of each service.
また、各サービスのビデオストリームの送信期間において、コンテナのレイヤに、階層範囲情報が挿入される。この階層範囲情報は、例えば、プログラムマップテーブル（ＰＭＴ）の配下に挿入される。この場合、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入される。 Also, in the transmission period of the video stream of each service, the hierarchical range information is inserted into the layer of the container. This hierarchy range information is inserted, for example, under a program map table (PMT). In this case, in the transmission period of the video stream of a certain service, the hierarchical range information of the picture of each stream constituting the video stream is always inserted, and the timing immediately before the transmission period of the video stream of the next service is started Then, the hierarchical range information of the picture of each stream constituting this video stream is inserted.
また、各サービスのビデオストリームの送信期間において、コンテナのレイヤに、切り替え情報が挿入される。この切り替え情報には、例えば、次のサービスのビデオストリームが持つ符号化画像データのフレームレート情報、ストリーム構成情報等が含まれる。この切り替え情報は、例えば、プログラムマップテーブル（ＰＭＴ）の配下に挿入される。 Further, in the transmission period of the video stream of each service, switching information is inserted into the layer of the container. The switching information includes, for example, frame rate information of encoded image data of the video stream of the next service, stream configuration information, and the like. This switching information is inserted, for example, under a program map table (PMT).
受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、複数のサービスのビデオストリームが連続的に含まれている。各ビデオストリームは、第１からＮのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームで構成されている。ここで、第１からＮのストリームのそれぞれに固定のＰＩＤ（パケット識別子）が付与される。
The receiving
受信装置２００は、コンテナのレイヤに挿入されているＰＩＤ（パケット識別子）情報から、トランスポートストリームＴＳに含まれているビデオストリームを構成する各ストリームのＰＩＤを認識する。受信装置２００は、ビデオストリームを構成する各ストリームを、それに付与されているＰＩＤに基づいてフィルタリングして処理する。受信装置２００は、トランスポートストリームＴＳに連続的に含まれる各サービスのビデオストリームによる画像を順次表示する。
The receiving
この場合、第１からＮのストリームのそれぞれに固定のＰＩＤ（パケット識別子）が付与されることから、サービスが切り替わる場合にあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生が抑制され、シームレス表示が行われる。 In this case, since a fixed PID (packet identifier) is assigned to each of the first to N streams, even when the service is switched, it is not necessary to change the filter setting for extracting each stream. Therefore, the occurrence of display mute is suppressed, and seamless display is performed.
受信装置２００は、コンテナのレイヤに挿入されている階層範囲情報から、トランスポートストリームＴＳに含まれているビデオストリームを構成する各ストリームのピクチャの階層範囲を認識する。この場合、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されていることから、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避される。
The receiving
また、受信装置２００は、コンテナのレイヤに挿入されている切り替え情報から、サービスの切り替え前に、次のサービスのビデオストリームが持つ符号化画像データのフレームレート情報等を認識する。
In addition, the
この実施の形態では、Ｎ＝２とされ、各ビデオストリームは、基本ストリーム（Base stream）のみで構成されるか、あるいは基本ストリーム（Base stream）および拡張ストリーム（Enhanced stream）で構成される。ここで、６０Ｐのサービスの場合には、ビデオストリームは基本ストリームのみで構成され、１２０Ｐのサービスの場合には、ビデオストリームは基本ストリームおよび拡張ストリームで構成されるものとする。 In this embodiment, N = 2, and each video stream is composed of only a base stream (Base stream), or is composed of a basic stream (Base stream) and an extended stream (Enhanced stream). Here, in the case of the 60P service, the video stream is composed of only the basic stream, and in the case of the 120P service, the video stream is composed of the basic stream and the extension stream.
そして、この実施の形態では、拡張ストリームに含めるピクチャの階層が一つとなるように符号化される。また、基本ストリームのみで構成されるビデオストリームの送信期間では、以下の第１、第２の態様のいずれかの態様とされる。第１の態様では、基本ストリームの階層範囲情報のみが挿入される。第２の態様では、基本ストリームの階層範囲情報が挿入される他、拡張ストリームが取り得る階層範囲の情報が挿入される。 Then, in this embodiment, encoding is performed such that the number of layers of pictures included in the extension stream is one. Further, in the transmission period of the video stream composed of only the basic stream, any one of the following first and second modes is adopted. In the first mode, only the layer range information of the basic stream is inserted. In the second aspect, in addition to the hierarchical range information of the basic stream, information of the hierarchical range that the extension stream can take is inserted.
この場合、例えば、最小（mix）と最大（max）の値が異なる値とされ、実際には拡張ストリームが存在しないことをも意味するものとされる。すなわち、この実施の形態では、拡張ストリームに含めるピクチャの階層が一つとなるように符号化されるものであり、拡張ストリームが存在する場合には、最小（mix）と最大（max）の値は同じくなるからである。 In this case, for example, the value of the minimum (mix) and the value of the maximum (max) are set to different values, which also means that the extension stream does not actually exist. That is, in this embodiment, encoding is performed so that the number of picture layers included in the extension stream is one, and when an extension stream exists, the minimum (mix) and maximum (max) values are Because they will be the same.
「送信装置の構成」
図５は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２Ａ，１０２Ｂと、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０３Ａ，１０３Ｂと、マルチプレクサ１０４と、送信部１０５を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。
"Configuration of Transmitter"
FIG. 5 illustrates a configuration example of the
エンコーダ１０２Ａは、フレーム周波数が６０Ｈｚの非圧縮の動画像データＶＤＡを入力し、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２Ａは、この動画像データＶＤＡを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つ６０Ｐのサービスに係るビデオストリームを生成する。圧縮データバッファ(ｃｐｂ)１０３Ａは、このビデオストリームを、一時的に蓄積する。
The
このビデオストリームには、基本ストリームのみが含まれる。つまり、エンコーダ１０２Ａは、階層符号化されて得られる全ての階層のピクチャの符号化画像データを持つ基本ストリームを生成する。なお、この基本ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化される。例えば、基本ストリームに含められるピクチャの階層範囲が０〜３の階層であるとき、例えば、図３（ａ）〜（ｃ）に示すように、最上位階層が３以下となるように階層符号化される。
This video stream includes only the basic stream. That is, the
エンコーダ１０２Ｂは、フレーム周波数が１２０Ｈｚの非圧縮の動画像データＶＤＢを入力し、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２Ｂは、この動画像データＶＤＢを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つ１２０Ｐのサービスに係るビデオストリームを生成する。圧縮データバッファ(ｃｐｂ)１０３Ｂは、このビデオストリームを、一時的に蓄積する。
The
このビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。つまり、エンコーダ１０２Ｂは、複数の階層を二分し、低階層側のピクチャの符号化画像データを持つ基本ストリームと、高階層側のピクチャの符号化画像データを持つ拡張ストリームを生成する。
This video stream includes a basic stream and an extension stream. That is, the
なお、この基本ストリームおよび拡張ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化され、かつ拡張ストリームに含めるピクチャの階層が一つとなるように符号化される。例えば、基本ストリームに含められるピクチャの階層範囲が０〜３の階層であり、拡張ストリームに含められるピクチャの階層範囲が４〜５の階層であるときには、例えば、図３（ｄ）に示すように、基本ストリームに含められるピクチャの階層は３以下とされ、拡張ストリームに含められるピクチャの階層は４とされる。 It should be noted that hierarchical coding of pictures included in the basic stream and the extension stream is hierarchically encoded so as to be a previously assigned range, and encoding is performed such that the hierarchy of pictures included in the extension stream is one. For example, when the hierarchical range of the picture included in the basic stream is the hierarchy of 0 to 3 and the hierarchical range of the picture included in the extension stream is the hierarchy of 4 to 5, for example, as illustrated in FIG. The number of picture layers included in the base stream is 3 or less, and the number of picture layers included in the extension stream is 4.
マルチプレクサ１０４は、６０Ｐのサービスを行う場合、圧縮データバッファ１０３Ａに蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。このトランスポートストリームＴＳには、上述したように、基本ストリームのみが含まれる。マルチプレクサ１０４は、この基本ストリームに固定のＰＩＤ（＝ＰＩＤ_１）を付与する。
When performing the 60P service, the
また、マルチプレクサ１０４は、１２０Ｐのサービスを行う場合、圧縮データバッファ１０３Ｂに蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。このトランスポートストリームＴＳには、上述したように、基本ストリームおよび拡張ストリームが含まれる。マルチプレクサ１０４は、基本ストリームに固定のＰＩＤ（＝ＰＩＤ_１）を付与すると共に、拡張ストリームに固定のＰＩＤ（＝ＰＩＤ_２）を付与する。
Further, when performing the service of 120P, the
送信部１０５は、マルチプレクサ１０４で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。この場合、例えば、６０Ｐのサービスに係るトランスポートストリームＴＳが送信され、続いて１２０Ｐのサービスに係るトランスポートストリームＴＳが送信される。あるいは、１２０Ｐのサービスに係るトランスポートストリームＴＳが送信され、続いて６０Ｐのサービスに係るトランスポートストリームＴＳが送信される。
The transmitting
マルチプレクサ１４０は、各サービスのビデオストリームの送信期間において、プログラムマップテーブル（ＰＭＴ）の配下に、ＰＩＤ情報を挿入する。この場合、マルチプレクサ１４０は、以下の第１のＰＩＤ情報挿入態様あるいは第２のＰＩＤ情報挿入態様で、ＰＩＤ情報を挿入する。 The multiplexer 140 inserts PID information under the program map table (PMT) during the transmission period of the video stream of each service. In this case, the multiplexer 140 inserts the PID information in the following first or second PID information insertion mode.
すなわち、第１のＰＩＤ情報挿入態様では、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのＰＩＤ情報を挿入し、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのＰＩＤ情報を挿入する。また、第２のＰＩＤ情報挿入態様では、各サービスのビデオストリームの送信期間おいて、基本ストリームおよび拡張ストリームの両方のＰＩＤ情報を挿入する。 That is, in the first PID information insertion mode, during the transmission period of the video stream of a certain service, the PID information of each stream constituting the video stream is always inserted, and the transmission period of the video stream of the next service starts. The PID information of each stream constituting this video stream is inserted at the timing immediately before the stream is made. In the second PID information insertion mode, PID information of both the basic stream and the extension stream is inserted during the transmission period of the video stream of each service.
また、マルチプレクサ１０４は、各サービスのビデオストリームの送信期間において、プログラムマップテーブル（ＰＭＴ）の配下に、階層範囲情報を挿入する。この場合、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのピクチャの階層範囲情報を挿入し、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのピクチャの階層範囲情報を挿入する。
The
ここで、マルチプレクサ１０４は、基本ストリームのみで構成されるビデオストリームの送信期間においては、以下の第１の態様あるいは第２の態様で、階層範囲情報を挿入する。すなわち、第１の態様では、基本ストリームの階層範囲情報のみ挿入する。また、第２の態様では、基本ストリームの階層範囲情報と共に、拡張ストリームが取り得る階層範囲の情報も挿入する。
Here, the
上述したように、拡張ストリームに含めるピクチャの階層は一つとされるが、この拡張ストリームが取り得る階層範囲の情報は、例えば複数の階層を含むものとされる。これにより、この拡張ストリームが取り得る階層範囲の情報は、文字通り拡張ストリームが取り得る階層範囲を示す他、実際には拡張ストリームが存在していないことを示唆するものとなる。 As described above, one layer of pictures is included in the extension stream, but the information of the layer range that this extension stream can take includes, for example, a plurality of layers. As a result, the information on the hierarchical range that the extension stream can take literally indicates the hierarchical range that the extension stream can take, and also indicates that the extension stream does not actually exist.
この階層範囲情報の挿入には、既存のＨＥＶＣデスクリプタ（HEVC descriptor）の「temporal_id_min」、「temporal_id_max」のフィールドを用いる。図６は、ＨＥＶＣデスクリプタ（HEVC_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ＨＥＶＣデスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。 To insert this hierarchical range information, the fields “temporal_id_min” and “temporal_id_max” of the existing HEVC descriptor (HEVC descriptor) are used. FIG. 6 illustrates a structural example (Syntax) of the HEVC descriptor (HEVC_descriptor). An 8-bit field of “descriptor_tag” indicates a descriptor type, and here indicates that it is a HEVC descriptor. The 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
「level_idc」の８ビットフィールドは、ビットレートのレベル指定値を示す。また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」の５ビットフィールドと、「temporal_id_max」の５ビットフィールドが存在する。「temporal_id_min」は、対応するビデオストリームに含まれる階層符号化データの最も低い階層のtemporal_idの値を示す。「temporal_id_max」は、対応するビデオストリームが持つ階層符号化データの最も高い階層のtemporal_idの値を示す。 An 8-bit field of “level_idc” indicates a level designation value of the bit rate. When “temporal_layer_subset_flag = 1”, there is a 5-bit field of “temporal_id_min” and a 5-bit field of “temporal_id_max”. “Temporal_id_min” indicates the value of temporal_id of the lowest layer of the layer coded data included in the corresponding video stream. “Temporal_id_max” indicates the value of temporal_id of the highest layer of the layer encoded data of the corresponding video stream.
また、マルチプレクサ１４０は、各サービスのビデオストリームの送信期間において、少なくとも、次のサービスのビデオストリームの送信期間が開始される直前のタイミングで、プログラムマップテーブル（ＰＭＴ）の配下に、切り替え情報を挿入する。この切り替え情報の挿入には、新規定義するシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）、あるいは既存のビデオ・デコード・コントロール・デスクリプタ（Video_decode_control descriptor）を用いる。 The multiplexer 140 inserts the switching information under the program map table (PMT) at least at the timing immediately before the transmission period of the video stream of the next service starts during the transmission period of the video stream of each service. I do. For the insertion of the switching information, a newly defined seamless switch descriptor (Seamless_switch descriptor) or an existing video decode control descriptor (Video_decode_control descriptor) is used.
図７は、シームレス・スイッチ・デスクリプタの構造例（Syntax）を示している。また、図８は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、シームレス・スイッチ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。 FIG. 7 shows a structural example (Syntax) of the seamless switch descriptor. FIG. 8 shows the content (Semantics) of main information in the example of the structure. An 8-bit field of “descriptor_tag” indicates a descriptor type. Here, it indicates that the switch is a seamless switch descriptor. The 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
「EOS_flag」の1ビットフィールドは、ストリームの最後に、“end_of_seq ”が符号化されていることを示すフラグである。“１”は、符号化されていることを示す。“０”は、符号化されていないことを示す。「number_of_streams」の３ビットフィールドは、切り替え後のサービス・ストリームの数を示す。「frame_rate」の４ビットフィールドは、切り替え後のサービス・ストリームのフレーム周波数を示す。例えば、“１００１”は６０Ｈｚを示し、“１１００”は１２０Ｈｚを示す。 The 1-bit field of “EOS_flag” is a flag indicating that “end_of_seq” is encoded at the end of the stream. “1” indicates that encoding is performed. “0” indicates that it is not encoded. The 3-bit field of “number_of_streams” indicates the number of service streams after switching. The 4-bit field of “frame_rate” indicates the frame frequency of the service stream after switching. For example, “1001” indicates 60 Hz, and “1100” indicates 120 Hz.
「spatial_resolution」の４ビットフィールドは、切り替え後のサービス・ストリームの空間解像度を示す。例えば、“０００１”は７２０（ｈ）＊４８０（ｖ）を示し、“００１０”は１２８０（ｈ）＊７２０（ｖ）を示し、“００１１”は１９２０（ｈ）＊１０８０（ｖ）を示し、“０１００”は３８４０（ｈ）＊２１６０（ｖ）を示し、“０１０１”は７６８０（ｈ）＊４３２０（ｖ）を示す。「scanning_format」の１ビットフィールドは、フレーム構造を示す。“１”はプログレッシブを示し、“０”はインターレースを示す。 The 4-bit field of "spatial_resolution" indicates the spatial resolution of the service stream after switching. For example, "0001" indicates 720 (h) * 480 (v), "0010" indicates 1280 (h) * 720 (v), "0011" indicates 1920 (h) * 1080 (v), “0100” indicates 3840 (h) * 2160 (v), and “0101” indicates 7680 (h) * 4320 (v). The 1-bit field of “scanning_format” indicates a frame structure. “1” indicates progressive, and “0” indicates interlace.
図９は、ビデオ・デコード・コントロール・デスクリプタの構造例（Syntax）を示している。また、図１０は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、ビデオ・デコード・コントロール・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。 FIG. 9 illustrates a structure example (Syntax) of the video decode control descriptor. FIG. 10 shows the content (Semantics) of the main information in the structural example. An 8-bit field of “descriptor_tag” indicates a descriptor type. Here, it indicates that it is a video decode control descriptor. The 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
「sequence_end_code_flag」の１ビットフィールドは、ストリームの最後に、“end_of_seq ”が符号化されていることを示すフラグである。“１”は、符号化されていることを示す。“０”は、符号化されていないことを示す。「video_encode_format」の４ビットフィールドは、切り替え後のサービス・ストリームのフォーマットを示す。例えば、“００００”は１０８０ｐ（２Ｋ）を示し、“０１１１”は２１６０ｐ（４Ｋ）を示し、“１０００”は４３２０ｐ（８Ｋ）を示す。 The 1-bit field of “sequence_end_code_flag” is a flag indicating that “end_of_seq” is encoded at the end of the stream. “1” indicates that encoding is performed. “0” indicates that it is not encoded. The 4-bit field of “video_encode_format” indicates the format of the service stream after switching. For example, “0000” indicates 1080p (2K), “0111” indicates 2160p (4K), and “1000” indicates 4320p (8K).
「frame_rate_type」の１ビットフィールドは、新規定義するフィールドであり、切り替え後のストリームのフレーム周波数の型を示し、“１”は従来からの、６０Ｈｚ以下のフレームレートを、“０”は１２０Ｈｚ以上を構成することを示す。「stream_not_extended_flag」の１ビットフィールドは、新規定義するフィールドであり、切り替え後のストリームに拡張ストリームが存在しないことを示し、“１”は別ＰＩＤの拡張ストリームは存在しない、“０”は別ＰＩＤの拡張ストリームが多重化され、それと合わせて１２０ｐを構成することを示す。
The 1-bit field of “frame_rate_type” is a field to be newly defined, and indicates the type of the frame frequency of the stream after switching. “1” indicates the conventional frame rate of 60 Hz or less, and “0” indicates the frame rate of 120 Hz or more. Indicates configuration. The 1-bit field of “stream_not_extended_flag” is a field to be newly defined, and indicates that there is no extended stream in the stream after switching. “1” indicates that there is no extended stream of another PID, and “0” indicates that there is no extended stream. This indicates that the extension stream is multiplexed and together
図１１は、マルチプレクサ１０４の構成を概略的に示している。マルチプレクサ１０４は、セクション情報（デスクリプタを含む）発生部１４１と、ヌルパケット発生部１４２と、セレクタ１４３と、ＰＩＤ割り当て部１４４と、ＴＳ多重化部１４５を有している。セレクタ１４３は、外部から入力される６０Ｐサービスのビデオストリーム（基本ストリーム）、１２０Ｐサービスのビデオストリーム（基本ストリーム、拡張ストリーム）、さらにはその他のサービスのストリーム、さらにはセクション情報発生部１４１で発生されるセクション情報やヌルパケット発生部１４２で発生されるヌルパケットを入力し、いずれかを選択的に取り出す。
FIG. 11 schematically shows the configuration of the
ＰＩＤ割り当て部１４４は、セレクタ１４３で選択的に取り出された各信号、つまりビデオストリーム、セクション情報、ヌルパケット等にＰＩＤを割り当てる。ＴＳ多重化部１４５は、各信号を多重化し、トランスポートストリームＴＳを得る。
The
[トランスポートストリームＴＳの構成]
図１２は、６０Ｐのサービスのビデオストリーム（基本ストリームのみ含む）を送信する場合におけるトランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別される基本ストリームのＰＥＳパケット「video PES1」が存在する。ここで、ＰＩＤ１は基本ストリームに固定のＰＩＤである。
[Configuration of Transport Stream TS]
FIG. 12 illustrates a configuration example of the transport stream TS when transmitting a 60P service video stream (including only the basic stream). In this configuration example, there is a PES packet “video PES1” of the basic stream identified by PID1. Here, PID1 is a PID fixed to the basic stream.
各ピクチャの符号化画像データには、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＳＬＩＣＥ、ＳＥＩなどのＮＡＬユニットが存在する。上述したように、ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。ＳＰＳには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。 The coded image data of each picture has NAL units such as VPS, SPS, PPS, SLICE, and SEI. As described above, in the header of the NAL unit, the layer identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged. In the SPS, “general_level_idc” which is a level designation value of the bit stream is inserted.
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、基本ストリームに対応したビデオエレメンタリ・ループ（video ES1 loop）が存在する。 In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). The PSI is information describing which program each elementary stream included in the transport stream belongs to. The PMT has a program loop that describes information related to the entire program. Further, the PMT has an elementary loop having information related to each elementary stream. In this configuration example, there is a video elementary loop (video ES1 loop) corresponding to the basic stream.
このビデオエレメンタリ・ループ（video ES1 loop）には、基本ストリーム（video PES1）に対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。基本ストリームの「Stream_type」の値は「０ｘ２４」に設定され、ＰＩＤ情報は、上述したように基本ストリームのＰＥＳパケット「video PES1」に付与されるＰＩＤ１を示すものとされる。 In the video elementary loop (video ES1 loop), information such as a stream type and a PID (packet identifier) is arranged in correspondence with the basic stream (video PES1), and information related to the video stream is stored. A descriptor to describe is also arranged. The value of “Stream_type” of the basic stream is set to “0x24”, and the PID information indicates PID1 given to the PES packet “video PES1” of the basic stream as described above.
また、ビデオエレメンタリ・ループ（video ES1 loop）に配置されるデスクリプタとして、上述したＨＥＶＣデスクリプタ（HEVC descriptor）やシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）が挿入される。なお、「frame_rate」のフィールドが新規定義されたビデオ・デコード・コントロール・デスクリプタ（Video_decode_control descriptor）用いられる場合は、シームレス・スイッチ・デスクリプタの挿入は不要となる。 In addition, the above-described HEVC descriptor (HEVC descriptor) and seamless switch descriptor (Seamless_switch descriptor) are inserted as descriptors arranged in the video elementary loop (video ES1 loop). When a newly defined video decode control descriptor (Video_decode_control descriptor) is used for the “frame_rate” field, it is not necessary to insert a seamless switch descriptor.
図示の例では、ＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.1”に設定されている。また、「temporal_id_min = 0」、「temporal_id_max = 3」に設定されており、基本ストリームの階層範囲が０から３の階層であることが示されている。 In the illustrated example, “level_idc” is set to “level5.1” in the HEVC descriptor. Also, “temporal_id_min = 0” and “temporal_id_max = 3” are set, which indicates that the layer range of the basic stream is from 0 to 3.
なお、第１の態様では、ＰＭＴの配下には、基本ストリームに対応したビデオエレメンタリ・ループ（video ES1 loop）のみが存在するが、第２の態様では、破線図示する、拡張ストリームに対応したビデオエレメンタリ・ループ（video ES2 loop）も存在する。 In the first embodiment, only the video elementary loop (video ES1 loop) corresponding to the basic stream exists under the PMT. In the second embodiment, the video stream corresponds to the extension stream, which is indicated by a broken line. There is also a video elementary loop (video ES2 loop).
このビデオエレメンタリ・ループ（video ES2 loop）には、実際には存在しない拡張ストリーム（video PES2）に対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。拡張ストリームの「Stream_type」の値は「０ｘ２５」に設定され、ＰＩＤ情報は、拡張ストリームのＰＥＳパケット「video PES２」に付与されるＰＩＤ２を示すものとされる。 In the video elementary loop (video ES2 loop), information such as a stream type and a PID (packet identifier) are arranged in correspondence with an extension stream (video PES2) that does not actually exist, and the video stream A descriptor that describes information related to is also arranged. The value of “Stream_type” of the extension stream is set to “0x25”, and the PID information indicates PID2 added to the PES packet “video PES2” of the extension stream.
また、ビデオエレメンタリ・ループに配置されるデスクリプタとして、上述したＨＥＶＣデスクリプタ（HEVC descriptor）やシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）が挿入される。なお、「frame_rate」のフィールドが新規定義されたビデオ・デコード・コントロール・デスクリプタ（Video_decode_control descriptor）用いられる場合は、シームレス・スイッチ・デスクリプタの挿入は不要となる。 In addition, the above-described HEVC descriptor (HEVC descriptor) and seamless switch descriptor (Seamless_switch descriptor) are inserted as descriptors arranged in the video elementary loop. When a newly defined video decode control descriptor (Video_decode_control descriptor) is used for the “frame_rate” field, it is not necessary to insert a seamless switch descriptor.
図示の例では、ＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定されている。また、「temporal_id_min = 5」、「temporal_id_max = 6」に設定されており、拡張ストリームが取り得る階層範囲が５，６の階層であることが示され、かつ実際には拡張ストリームが存在していないことが示される。 In the illustrated example, “level_idc” is set to “level5.2” in the HEVC descriptor. Also, “temporal_id_min = 5” and “temporal_id_max = 6” are set, which indicates that the range of layers that the extension stream can take is 5 or 6 layers, and that no extension stream actually exists. Is shown.
なお、６０Ｐのサービスのビデオストリーム（基本ストリームのみ含む）を送信する場合におけるトランスポートストリームＴＳに含まれるＰＭＴは、常には、図示の内容とされるが、次のサービスのビデオストリームの送信が開始される直前のタイミングでは、そのビデオストリームに対応した内容の新ＰＭＴに更新される。 The PMT included in the transport stream TS when transmitting the video stream of the 60P service (including only the basic stream) is always as shown in the figure, but the transmission of the video stream of the next service starts. At the timing immediately before the PMT is updated, the content is updated to a new PMT corresponding to the video stream.
図１３は、１２０Ｐのサービスのビデオストリーム（基本ストリーム、拡張ストリームを含む）を送信する場合におけるトランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別される基本ストリームのＰＥＳパケット「video PES1」と、ＰＩＤ２で識別される拡張ストリームのＰＥＳパケット「video PES２」が存在する。ここで、「stream_id」が同じサービス（放送チャンネル）で、ＰＩＤ１は基本ストリームに固定のＰＩＤであり、ＰＩＤ２は拡張ストリームに固定のＰＩＤである。 FIG. 13 illustrates a configuration example of the transport stream TS when transmitting a video stream (including a basic stream and an extension stream) of a 120P service. In this configuration example, there are a PES packet “video PES1” of the basic stream identified by PID1, and a PES packet “video PES2” of the extension stream identified by PID2. Here, “stream_id” is the same service (broadcast channel), PID1 is a PID fixed to the basic stream, and PID2 is a PID fixed to the extension stream.
基本ストリームの各ピクチャの符号化画像データには、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＳＬＩＣＥ、ＳＥＩなどのＮＡＬユニットが存在する。ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。ＳＰＳには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、ＳＰＳには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ（sub_layer）として括られ、“sublayer_level_presented_flag”が“１”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。 NAL units such as VPS, SPS, PPS, SLICE, and SEI exist in the coded image data of each picture of the basic stream. In the header of the NAL unit, hierarchical identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged. In the SPS, “general_level_idc” which is a level designation value of the bit stream is inserted. In the SPS, pictures belonging to each layer indicated by “temporal_id” are grouped as sublayers (sub_layers), and “sublayer_level_presented_flag” is set to “1”, which is the level designation value of the bit rate for each sublayer. “Sublayer_level_idc” is inserted.
一方、拡張ストリームの各ピクチャの符号化画像データには、ＰＰＳ、ＳＬＩＣＥなどのＮＡＬユニットが存在する。ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。 On the other hand, the coded image data of each picture of the extension stream has NAL units such as PPS and SLICE. In the header of the NAL unit, hierarchical identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged.
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。 In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、２つのビデオエレメンタリ・ループ（video ES1 loop, video ES2 loop ）が存在する。 The PMT has a program loop that describes information related to the entire program. Further, the PMT has an elementary loop having information related to each elementary stream. In this configuration example, there are two video elementary loops (video ES1 loop, video ES2 loop).
各ビデオエレメンタリ・ループには、ビデオストリーム（video PES1, video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。ビデオエレメンタリ・ループ（video ES1 loop）に関しては、詳細説明は省略するが、図１２におけるＴＳ構成と同様である。 In each video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1 and video PES2), and information related to the video stream is described. Descriptors are also arranged. The detailed description of the video elementary loop (video ES1 loop) is omitted, but is the same as the TS configuration in FIG.
ビデオエレメンタリ・ループ（video ES2 loop）には、拡張ストリーム（video PES2）に対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。拡張ストリームの「Stream_type」の値は「０ｘ２５」に設定され、ＰＩＤ情報は、拡張ストリームのＰＥＳパケット「video PES２」に付与されるＰＩＤ２を示すものとされる。 In the video elementary loop (video ES2 loop), information such as a stream type and a PID (packet identifier) is arranged corresponding to the extension stream (video PES2), and information related to the video stream is described. Descriptors are also arranged. The value of “Stream_type” of the extension stream is set to “0x25”, and the PID information indicates PID2 added to the PES packet “video PES2” of the extension stream.
また、ビデオエレメンタリ・ループに配置されるデスクリプタとして、上述したＨＥＶＣデスクリプタ（HEVC descriptor）やシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）が挿入される。なお、「frame_rate」のフィールドが新規定義されたビデオ・デコード・コントロール・デスクリプタ（Video_decode_control descriptor）用いられる場合は、シームレス・スイッチ・デスクリプタの挿入は不要となる。図示の例では、ＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定されている。また、「temporal_id_min = 5」、「temporal_id_max = 5」に設定されており、拡張ストリームに含まれるピクチャの階層が５であることが示されている。 In addition, the above-described HEVC descriptor (HEVC descriptor) and seamless switch descriptor (Seamless_switch descriptor) are inserted as descriptors arranged in the video elementary loop. When a newly defined video decode control descriptor (Video_decode_control descriptor) is used for the “frame_rate” field, it is not necessary to insert a seamless switch descriptor. In the illustrated example, “level_idc” is set to “level5.2” in the HEVC descriptor. Also, “temporal_id_min = 5” and “temporal_id_max = 5” are set, which indicates that the number of layers of pictures included in the extension stream is 5.
なお、１２０Ｐのサービスのビデオストリーム（基本ストリームのみ含む）を送信する場合におけるトランスポートストリームＴＳに含まれるＰＭＴは、常には、図示の内容とされるが、次のサービスのビデオストリームの送信が開始される直前のタイミングでは、そのビデオストリームに対応した内容の新ＰＭＴに更新される。 Note that the PMT included in the transport stream TS when transmitting a video stream of the 120P service (including only the basic stream) always has the contents shown in the figure, but transmission of the video stream of the next service starts. At the timing immediately before the PMT is updated, the content is updated to a new PMT corresponding to the video stream.
図５に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２Ａには、フレーム周波数が６０Ｈｚの非圧縮の動画像データＶＤＡが入力される。このエンコーダ１０２Ａでは、この動画像データＶＤＡに対して、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が行われる。この際、エンコーダ１０２Ａでは、この動画像データＶＤＡを構成する各ピクチャの画像データが複数の階層に分類され、この分類された各階層のピクチャの画像データが符号化され、各階層のピクチャの符号化画像データを持つ６０Ｐのサービスに係るビデオストリームが生成される。
The operation of the transmitting
このビデオストリームには、基本ストリームのみが含まれる。つまり、エンコーダ１０２Ａでは、階層符号化されて得られる全ての階層のピクチャの符号化画像データを持つ基本ストリームが生成される。なお、この基本ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化される。エンコーダ１０２Ａで生成された、各階層のピクチャの符号化データを含むビデオストリーム（基本ストリーム）は、圧縮データバッファ（ｃｐｂ）１０３Ａに供給され、一時的に蓄積される。
This video stream includes only the basic stream. That is, the
また、エンコーダ１０２Ｂには、フレーム周波数が１２０Ｈｚの非圧縮の動画像データＶＤＢが入力される。このエンコーダ１０２Ｂでは、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が行われる。この際、エンコーダ１０２Ｂでは、この動画像データＶＤＢを構成する各ピクチャの画像データが複数の階層に分類され、この分類された各階層のピクチャの画像データが符号化され、各階層のピクチャの符号化画像データを持つ１２０Ｐのサービスに係るビデオストリームが生成される。
Further, uncompressed moving image data VDB having a frame frequency of 120 Hz is input to the
このビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。つまり、エンコーダ１０２Ｂでは、複数の階層が二分され、低階層側のピクチャの符号化画像データを持つ基本ストリームと、高階層側のピクチャの符号化画像データを持つ拡張ストリームが生成される。なお、この基本ストリームおよび拡張ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化され、かつ拡張ストリームに含めるピクチャの階層が一つとなるように符号化される。エンコーダ１０２Ｂで生成された、各階層のピクチャの符号化データを含むビデオストリーム（基本ストリーム、拡張ストリーム）は、圧縮データバッファ（ｃｐｂ）１０３Ｂに供給され、一時的に蓄積される。
This video stream includes a basic stream and an extension stream. That is, the
マルチプレクサ１０４では、６０Ｐのサービスを行う場合、圧縮データバッファ１０３Ａに蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳには、基本ストリームのみが含まれる。マルチプレクサ１０４では、この基本ストリームに固定のＰＩＤ（＝ＰＩＤ_１）が付与される。
In the case of performing the 60P service, the
また、マルチプレクサ１０４では、１２０Ｐのサービスを行う場合、圧縮データバッファ１０３Ｂに蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳには、基本ストリームおよび拡張ストリームが含まれる。マルチプレクサ１０４では、基本ストリームに固定のＰＩＤ（＝ＰＩＤ_１）が付与されると共に、拡張ストリームに固定のＰＩＤ（＝ＰＩＤ_２）が付与される。
In the case of performing the 120P service, the
また、マルチプレクサ１０４では、各サービスのビデオストリームの送信期間において、プログラムマップテーブル（ＰＭＴ）の配下に、ＰＩＤ情報が挿入される。ここで、第１のＰＩＤ情報挿入態様では、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのＰＩＤ情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのＰＩＤ情報が挿入される。また、第２のＰＩＤ情報挿入態様では、各サービスのビデオストリームの送信期間おいて、基本ストリームおよび拡張ストリームの両方のＰＩＤ情報が挿入される。
In the
また、マルチプレクサ１０４では、各サービスのビデオストリームの送信期間において、プログラムマップテーブル（ＰＭＴ）の配下に、階層範囲情報が挿入される。この場合、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入される。
In the
ここで、マルチプレクサ１０４では、基本ストリームのみで構成されるビデオストリームの送信期間において、第１の態様では基本ストリームの階層範囲情報のみ挿入され、第２の態様では基本ストリームの階層範囲情報と共に、拡張ストリームが取り得る階層範囲の情報も挿入すされる。拡張ストリームに含めるピクチャの階層は一つとされるが、この拡張ストリームが取り得る階層範囲の情報は、例えば複数の階層を含むものとされる。
Here, in the
また、マルチプレクサ１４０では、各サービスのビデオストリームの送信期間において、少なくとも、次のサービスのビデオストリームの送信期間が開始される直前のタイミングで、プログラムマップテーブル（ＰＭＴ）の配下に、切り替え情報が挿入される。この切り替え情報の挿入には、新規定義するシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）、あるいは既存のビデオ・デコード・コントロール・デスクリプタ（Video_decode_control descriptor）が用いられる。 In the multiplexer 140, the switching information is inserted under the program map table (PMT) at least at the timing immediately before the transmission period of the video stream of the next service starts in the transmission period of the video stream of each service. Is done. To insert the switching information, a newly defined seamless switch descriptor (Seamless_switch descriptor) or an existing video decode control descriptor (Video_decode_control descriptor) is used.
送信部１０５では、マルチプレクサ１０４で得られたトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。この場合、例えば、６０Ｐのサービスに係るトランスポートストリームＴＳが送信され、続いて１２０Ｐのサービスに係るトランスポートストリームＴＳが送信される。あるいは、１２０Ｐのサービスに係るトランスポートストリームＴＳが送信され、続いて６０Ｐのサービスに係るトランスポートストリームＴＳが送信される。
In the transmitting
なお、上述では、エンコーダ１０２Ａが６０Ｐのサービスに係るビデオストリーム（基本ストリーム）を生成し、エンコーダ１０２Ｂが１２０Ｐのサービスに係るビデオストリーム（基本ストリーム、拡張ストリーム）を生成し、マルチプレクサ１０４でこれらを切り替える旨の説明をした。しかし、これと同じ効果を、エンコーダ１０２Ｂに持たせることも可能である。この場合、エンコーダ１０２Ｂは、フレーム周波数が１２０Ｈｚの非圧縮の動画像データＶＤＢを入力し、６０Ｐのサービスに係るビデオストリーム（基本ストリーム）の出力と、１２０Ｐのサービスに係るビデオストリーム（基本ストリーム、拡張ストリーム）の出力とを、切り替えて出力する機能を持つ。
In the above description, the
「受信装置の構成」
図１４は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４を有している。また、この受信装置２００は、デコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、ポスト処理部２０７と、表示部２０８を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。
"Receiver configuration"
FIG. 14 illustrates a configuration example of the receiving
受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、それに含まれるビデオストリームを構成するストリームをＰＩＤフィルタでフィルタリングして取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。
The receiving
この場合、基本ストリームや拡張ストリームにはそれぞれ固定のＰＩＤが付与されている。そのため、例えば、６０ｐサービスから１２０ｐサービスに、あるいはその逆にサービスの切り替えがあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。 In this case, a fixed PID is assigned to each of the basic stream and the extension stream. Therefore, for example, even if the service is switched from the 60p service to the 120p service or vice versa, it is not necessary to change the setting of the filter for extracting each stream. Display becomes possible.
図１５は、デマルチプレクサ２０３の構成例を示している。このデマルチプレクサ２０３は、ＰＩＤフィルタ２３１と、多重化バッファ２３２_０〜２３２_ｎ，２３２_null，２３２_ｃと、セクションフィルタ２３３と、ＰＭＴ解析部２３４を有している。
FIG. 15 shows a configuration example of the
ＰＩＤフィルタ２３１は、ＰＩＤに基づいて、トランスポートストリームＴＳに含まれるセクションデータ、ヌルパケットを通過させる。図示の例では、セクションデータのＰＩＤ値をＰＩＤ_cとし、ヌルパケットのＰＩＤをＰＩＤ_nullとしている。ヌルパケットは独自のＰＩＤ値を持たなく、ビデオのＰＩＤのストリームの中に挿入されるように伝送されてもよい。これにより、受信機の多重化バッファでヌルパケットを検知して切り替えが起こることの判定に利用することが可能となる。また、ＰＩＤフィルタ２３１は、トランスポートストリームＴＳに含まれる、放送サービスチャネルに相当するプログラムナンバー（program number）に対応したＴＳパケットを、セットされるＰＩＤ値に基づいて通過させる。図示の例では、セット可能なＴＳパケットのＰＩＤ値を、ＰＩＤ_0〜ＰＩＤ_nとしている。
The
多重化バッファ２３２_０〜２３２_ｎ，２３２_null，２３２_ｃは、ＰＩＤフィルタ２３１を通過したＴＳパケット、セクションデータ、ヌルパケットをそれぞれ一時的に蓄積する。つまり、デマルチプレクサ２０３では、多重化バッファがＰＩＤ値別に管理されている。セクションフィルタ２３３は、多重化バッファ２３２_cに蓄積されたセクションデータから、ＰＩＤ値に基づいて、プログラムマップテーブル（ＰＭＴ）を抽出する。
The multiplexing buffers 232_0 to 232_n, 232_null, and 232_c temporarily store TS packets, section data, and null packets that have passed through the
ＰＭＴ解析部２３４は、セクションフィルタ２３３で抽出されたＰＭＴを解析し、その解析結果に基づいて、ＰＩＤフィルタ２３１に、通過させるＴＳパケットのＰＩＤ値をセットする。例えば、トランスポートストリームＴＳが６０Ｐのサービスである場合、例えば、ＰＩＤ_0として、基本ストリームに付与されている固定のＰＩＤ値である「１０１」がセットされる。また、例えば、トランスポートストリームＴＳが１２０Ｐのサービスである場合、例えば、ＰＩＤ_0として基本ストリームに付与されている固定のＰＩＤ値である「１０１」がセットされると共に、ＰＩＤ_1として拡張ストリームに付与されている固定のＰＩＤ値である「１０２」がセットされる。
The PMT analysis unit 234 analyzes the PMT extracted by the
デマルチプレクサ２０３は、デコーダ２０５のデコード能力に応じて、多重化バッファ２３２_０〜２３２_ｎにＰＩＤ値別に蓄積されたＴＳパケットを、圧縮データバッファ２０４に転送する。例えば、デコーダ２０５が６０ｐデコーダである場合、多重化バッファ２３２_0に蓄積された基本ストリームに係るＴＳパケットを、圧縮データバッファ２０４に転送する。また、例えば、デコーダ２０５が１２０ｐデコーダである場合、多重化バッファ２３２_0に蓄積される基本ストリームに係るＴＳパケットと、多重化バッファ２３２_1に蓄積される拡張ストリームに係るＴＳパケットを、圧縮データバッファ２０４に転送する。
The
なお、上述では、例えば、トランスポートストリームＴＳが１２０Ｐのサービスである場合、ＰＩＤフィルタ２３１がＰＩＤ_0，ＰＩＤ_1のＴＳパケットを通過させるものとしたが、デコーダ２０５が６０ｐデコーダであるときには、ＰＩＤフィルタ２３１がＰＩＤ_0のＴＳパケットのみを通過させる方法も可能である。
In the above description, for example, when the transport stream TS is a service of 120P, the
図１４に戻って、圧縮データバッファ(ｃｐｂ)２０４は、デマルチプレクサ２０３から転送されるＴＳパケット、従って各ピクチャの符号化画像データを、一時的に蓄積する。デコーダ２０５は、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出してデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。
Returning to FIG. 14, the compressed data buffer (cpb) 204 temporarily stores the TS packet transferred from the
非圧縮データバッファ（ｄｐｂ）２０６は、デコーダ２０５でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部２０７は、非圧縮データバッファ（ｄｐｂ）２０６からＰＴＳ（Presentation Time stamp）で与えられる表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。
The uncompressed data buffer (dpb) 206 temporarily stores the image data of each picture decoded by the
例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が２倍となるように補間処理を施し、１２０ｆｐｓの画像データとして表示部２０８に送る。
For example, when the frame rate of the decoded image data of each picture is 60 fps and the display capability is 120 fps, the
表示部２０８は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０８は、受信装置２００に接続される外部機器であってもよい。
The
図１４に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＭＴに含まれるＰＩＤ情報に基づいて、サービスに対応したＴＳパケットが取り出される。このＴＳパケットは、圧縮データバッファ（ｃｐｂ）２０４に送られ、一時的に蓄積される。
The operation of the receiving
例えば、トランスポートストリームＴＳが６０ｐのサービスである場合、基本ストリームに係るＴＳパケットが取り出されて圧縮データバッファ２０４に転送される。また、例えば、トランスポートストリームＴＳが１２０ｐのサービスである場合、デコーダ２０５が６０ｐデコーダであるときには、基本ストリームに係るＴＳパケットが取り出されて圧縮データバッファ２０４に転送され、デコーダ２０５が１２０ｐデコーダであるときには、基本ストリームおよび拡張ストリームの双方に係るＴＳパケットが取り出されて圧縮データバッファ２０４に転送される。
For example, when the transport stream TS is a service of 60p, a TS packet related to the basic stream is extracted and transferred to the
デコーダ２０５では、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ（ｄｐｂ）２０６に送られ、一時的に蓄積される。そして、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部２０７に送られる。ポスト処理部２０７では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部２０７で処理された各ピクチャの画像データは、表示部２０８に供給され、動画像の表示が行われる。
In the
次に、図１に示す送受信システム１０において、４Ｋ ６０ｐ番組から４Ｋ １２０ｐ番組への切り替え動作について説明する。図１６は、送信側、つまり送信装置１００の動作例を示している。６０ｐサービス送信期間では、エンコーダ１０２Ａで６０ｐサービスに係るビデオストリームが生成される。このビデオストリームには、ＰＩＤ値として例えば「１０１」が付与される基本ストリームのみが含まれている。
Next, an operation of switching from the
そして、この６０ｐサービス送信期間では、マルチプレクサ１０４において、この基本ストリームがＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られ、４Ｋ ６０ｐ番組の送信ストリームとなる。
In the 60p service transmission period, the
この６０ｐサービス送信期間では、コンテナのレイヤに、常には、図示では「旧ＰＭＴ」で示すＰＭＴが挿入されて送信される。このＰＭＴには、「Service_id」、「Version number」の情報が含まれる他、基本ストリームに対応した「Elementary_PID」、「Stream_type」の情報が含まれる。 In the 60p service transmission period, a PMT indicated by “old PMT” is always inserted in the container layer and transmitted. The PMT includes information of “Service_id” and “Version number”, and also includes information of “Elementary_PID” and “Stream_type” corresponding to the basic stream.
また、この６０ｐサービス送信期間において、１２０ｐサービス送信期間が開始される直前のタイミング、例えば６０ｐサービス送信期間の終了から１秒前のタイミングで、コンテナのレイヤに、図示では「新ＰＭＴ」で示すＰＭＴが挿入されて送信される。このＰＭＴには「旧ＰＭＴ」と同様に、「Service_id」、「Version number」の情報が含まれる。「Version number」は、“Ｖ0”から“Ｖ0+1”に変更され、「新ＰＭＴ」に変更されたことが示される。 In the 60p service transmission period, at the timing immediately before the start of the 120p service transmission period, for example, one second before the end of the 60p service transmission period, the PMT indicated by “New PMT” in the drawing is added to the container layer. Is inserted and transmitted. This PMT includes information of “Service_id” and “Version number” as in “old PMT”. “Version number” is changed from “V0” to “V0 + 1”, indicating that it has been changed to “new PMT”.
また、このＰＭＴには、基本ストリームに対応した「Elementary_PID」、「Stream_type」の情報が含まれると共に、拡張ストリームに対応した「Elementary_PID」、「Stream_type」の情報も含まれる。さらに、このＰＭＴには、切り替え情報が記述されたシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）が含まれる。 The PMT includes “Elementary_PID” and “Stream_type” information corresponding to the basic stream, and also includes “Elementary_PID” and “Stream_type” information corresponding to the extension stream. Further, the PMT includes a Seamless_switch descriptor in which switching information is described.
ここでは、「EOS_flag = 1」とされ、“end_of_seq ”が符号化されていることが示されている。また、「number_of_streams = 2」とされ、切り替え後のサービス・ストリームの数が２であることが示される。また、「frame_rate = 1100(120Hz)」とされ、切り替え後のサービス・ストリームのフレーム周波数が１２０Ｈｚであることが示される。 Here, “EOS_flag = 1” is set, indicating that “end_of_seq” is encoded. Also, “number_of_streams = 2” is set, indicating that the number of service streams after switching is two. Also, “frame_rate = 1100 (120 Hz)” is set, indicating that the frame frequency of the switched service stream is 120 Hz.
６０ｐサービス送信期間が終了すると、１２０ｐのサービス送信期間に切り替わる。１２０ｐサービス送信期間では、エンコーダ１０２Ｂで１２０ｐサービスに係るビデオストリームが生成される。このビデオストリームには、ＰＩＤ値として例えば「１０１」が付与される基本ストリームと、ＰＩＤ値として例えば「１０２」が付与される拡張ストリームが含まれている。
When the 60p service transmission period ends, the service is switched to the 120p service transmission period. In the 120p service transmission period, the
そして、この１２０ｐサービス送信期間では、マルチプレクサ１０４において、この基本ストリームおよび拡張ストリームがＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られ、４Ｋ １２０ｐ番組の送信ストリームとなる。なお、４Ｋ ６０ｐ番組の送信ストリームと４Ｋ １２０ｐ番組の送信ストリームとの間にはヌルパケットが送信されるギャップ期間が設けられる。
Then, in the 120p service transmission period, the basic stream and the extension stream are PES-packetized in the
図１７は、受信側、つまり受信装置２００の動作例を示している。６０ｐサービス送信期間では、デマルチプレクサ２０３から、４Ｋ ６０番組のビデオストリームが出力される。そして、デコーダ２０５からは、６０ｐデコーダであっても、１２０ｐデコーダであっても、４Ｋ ６０番組の画像データが出力される。
FIG. 17 illustrates an operation example of the receiving side, that is, the receiving
この６０ｐサービス送信期間では、コンテナのレイヤから、常には、「旧ＰＭＴ」で示すＰＭＴが取得され、１２０ｐサービス送信期間が開始される直前のタイミングで、「新ＰＭＴ」が取得される。この「新ＰＭＴ」に含まれる拡張ストリームのＰＩＤ値がＰＩＤフィルタにセットされることで、デマルチプレクサ２０３は、４Ｋ １２０番組のビデオストリームを出力し得る状態となる。
In the 60p service transmission period, the PMT indicated by “old PMT” is always obtained from the container layer, and the “new PMT” is obtained immediately before the start of the 120p service transmission period. By setting the PID value of the extension stream included in the “new PMT” in the PID filter, the
６０ｐサービス送信期間が終了すると、１２０ｐのサービス送信期間に切り替わる。この場合、デマルチプレクサ２０３の出力は、ヌルパケットが含まれるギャップ期間を経て、４Ｋ ６０ｐ番組のビデオストリーム（基本ストリームのみ）から４Ｋ １２０ｐ番組のビデオストリーム（基本ストリームと拡張ストリーム）に変わる。そして、デコーダ２０５からは、６０ｐデコーダである場合には、４Ｋ ６０番組の画像データが出力され、１２０ｐデコーダである場合には、４Ｋ １２０番組の画像データが出力される。
When the 60p service transmission period ends, the service is switched to the 120p service transmission period. In this case, the output of the
６０ｐサービス送信期間から１２０ｐサービス送信期間への切り替わりにおけるデマルチプレクサ２０３の動作についてさらに説明する。６０ｐサービス送信期間では、PID_0（１０１）のストリーム（基本ストリーム）のみがＰＩＤフィルタ２３１を通過して、多重化バッファ２３２_0に蓄積される。
The operation of the
この６０ｐサービス送信期間が終了する１秒前に、セクションフィルタ２３３では「新ＰＭＴ」が抽出される。この「新ＰＭＴ」がＰＭＴ解析部２３４で解析され、ＰＩＤフィルタ２３１を通過させるべきストリームのＰＩＤ値、さらには「Stream_type」、「Descriptor」が検知され、ＰＩＤフィルタ２３１へのＰＩＤ値のセットが行われる。これにより、ＰＩＤフィルタ２３１は、続く１２０ｐサービス送信期間において、PID_0（１０１）のストリーム（基本ストリーム）と共に、PID_1（１０２）のストリーム（拡張ストリーム）を通過させることが可能となる。
One second before the end of the 60p service transmission period, the
１２０ｐサービス送信期間への切り替わり後、PID_0（１０１）のストリーム（基本ストリーム）がＰＩＤフィルタ２３１を通過して多重化バッファ２３２_0に蓄積されると共に、PID_0（１０２）のストリーム（拡張ストリーム）がＰＩＤフィルタ２３１を通過して多重化バッファ２３２_1に蓄積される。なお、「新ＰＭＴ」のシームレス・スイッチ・デスクリプタの「EOS_flag」が“１”である場合、ビデオストリームのＥＯＳが判別された時点でビデオフォーマットとサービス・ストリームの数に関しての切り替えが起こることが、判別される。
After the switch to the 120p service transmission period, the stream (basic stream) of PID_0 (101) passes through the
なお、上述の図１６、図１７に示す動作例では、１２０ｐサービス送信期間が開始される直前のタイミング、例えば６０ｐサービス送信期間の終了から１秒前のタイミングでコンテナのレイヤに挿入される「新ＰＭＴ」で拡張ストリームのＰＩＤ値を通知する例を示した（第１のＰＩＤ挿入形態）。しかし、６０ｐサービス送信期間で常にコンテナのレイヤに挿入される「旧ＰＭＴ」に、拡張ストリームのＰＩＤ値を含め、拡張ストリームのＰＩＤ値を予約することも可能である（第２のＰＩＤ挿入形態）。図１８、図１９は、その場合における、送信側、受信側の動作例を示している。 In the operation examples shown in FIGS. 16 and 17 described above, the “new” is inserted into the container layer at the timing immediately before the start of the 120p service transmission period, for example, one second before the end of the 60p service transmission period. An example of notifying the PID value of the extension stream by “PMT” has been described (first PID insertion mode). However, it is also possible to reserve the PID value of the extension stream, including the PID value of the extension stream, in the “old PMT” that is always inserted in the container layer during the 60p service transmission period (second PID insertion form). . FIG. 18 and FIG. 19 show operation examples on the transmission side and the reception side in that case.
次に、図１に示す送受信システム１０において、サービスの切り替え動作に伴う階層符号化構造の変化について説明する。図２０は、サービスの切り替え動作に伴う階層符号化構造の変化の一例を示している。この例では、０〜３の階層が基本ストリームに割り当てられており、４，５の階層が拡張ストリームに割り当てられている例である。
Next, in the transmission /
この例では、６０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜３の階層のピクチャが存在している。６０ｐサービスのビデオストリームには、基本ストリームのみが含まれる。この基本ストリームに、０から３の全ての階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。
In this example, the video stream of the 60p service includes coded image data of each hierarchically coded picture. In this case, there are pictures of
また、この例では、１２０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜４の階層のピクチャが存在している。１２０ｐサービスのビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。基本ストリームに０から３の階層のピクチャが含まれ、拡張ストリームに４の階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳ（Sequence Prameter Set）おいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1 = 4」に設定される。
In this example, the video stream of the 120p service includes coded image data of each hierarchically coded picture. In this case, there are pictures in the 0-4 hierarchy. The video stream of the 120p service includes a basic stream and an extension stream. The basic stream includes pictures of
６０ｐサービス送信期間が開始される直前のタイミングで、コンテナのレイヤに、その６０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴに含まれるＨＥＶＣデスクリプタ（HEVC descriptor）において、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。 At a timing immediately before the start of the 60p service transmission period, the PMT having the information of the video stream of the 60p service is inserted into the layer of the container. In the HEVC descriptor (HEVC descriptor) included in the PMT, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 3”.
同様に、６０ｐサービス送信期間において、１２０ｐサービスが開始される直前のタイミングで、コンテナのレイヤに、その１２０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴに含まれる基本ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。また、このＰＭＴに含まれる拡張ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 4」、「temporal_id_max = 4」に設定される。 Similarly, at the timing immediately before the start of the 120p service in the 60p service transmission period, the PMT having the information of the video stream of the 120p service is inserted into the container layer. In the HEVC descriptor relating to the basic stream included in the PMT, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 3”. In the HEVC descriptor relating to the extension stream included in the PMT, “level_idc” is set to “level5.2”, and further, “temporal_id_min = 4” and “temporal_id_max = 4”.
この場合、１２０ｐサービスのビデオストリームの情報を持つＰＭＴの挿入時点から６０ｐサービス送信期間が終了する期間Ｔでは、ビデオレイヤの情報が６０ｐサービスのビデオストリームの情報であるのに対して、システムレイヤの情報は１２０ｐサービスのビデオストリームの情報となる。しかし、この例では、ビデオの“temporal_id”の値と、ＨＥＶＣデスクリプタの“temporal_id”の値の範囲は整合する。これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、階層符号化が行われているからである。 In this case, in a period T in which the 60p service transmission period ends from the point of insertion of the PMT having the video stream information of the 120p service, the information of the video layer is the information of the video stream of the 60p service, while the information of the video layer is information of the system layer. The information is information of the video stream of the 120p service. However, in this example, the range of the value of “temporal_id” of the video matches the range of the value of “temporal_id” of the HEVC descriptor. This is because layer encoding is performed so that the video stream of each service falls within a mutually independent range in which the layers of pictures to be respectively included in the basic stream and the extension stream are assigned in advance.
図２１は、サービスの切り替え動作に伴う階層符号化構造の変化の他の一例を示している。この例では、０〜３の階層が基本ストリームに割り当てられており、５，６の階層が拡張ストリームに割り当てられている例である。 FIG. 21 shows another example of a change in the hierarchical coding structure accompanying a service switching operation. In this example, layers 0 to 3 are allocated to the basic stream, and layers 5 and 6 are allocated to the extension stream.
この例では、６０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜３の階層のピクチャが存在している。６０ｐサービスのビデオストリームには、基本ストリームのみが含まれる。この基本ストリームに、０から３の全ての階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。
In this example, the video stream of the 60p service includes coded image data of each hierarchically coded picture. In this case, there are pictures of
また、この例では、１２０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜２，５の階層のピクチャが存在している。１２０ｐサービスのビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。基本ストリームに０から２の階層のピクチャが含まれ、拡張ストリームに５の階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳ（Sequence Prameter Set）おいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1 = 5」に設定される。
In this example, the video stream of the 120p service includes coded image data of each hierarchically coded picture. In this case, there are pictures of
６０ｐサービス送信期間が開始される直前のタイミングで、コンテナのレイヤに、その６０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴには、基本ストリームおよび拡張ストリームの情報が存在する。基本ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。 At a timing immediately before the start of the 60p service transmission period, the PMT having the information of the video stream of the 60p service is inserted into the layer of the container. The PMT has information on the basic stream and the extension stream. In the HEVC descriptor relating to the basic stream, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 3”.
また、拡張ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 5」、「temporal_id_max = 6」に設定される。この設定により、拡張ストリームが取り得る階層範囲が５，６の階層であることが示され、かつ実際には拡張ストリームが存在していないことが示される。なお、図２０に示すと同様に、このＰＭＴに、基本ストリームの情報ななくともよい。 In the HEVC descriptor related to the extension stream, “level_idc” is set to “level5.2”, and further, “temporal_id_min = 5” and “temporal_id_max = 6”. This setting indicates that the range of layers that the extension stream can take is the fifth and sixth layers, and that no extension stream actually exists. As shown in FIG. 20, the PMT does not have to include the information of the basic stream.
また、６０ｐサービス送信期間において、１２０ｐサービスが開始される直前のタイミングで、コンテナのレイヤに、その１２０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴに含まれる基本ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。また、このＰＭＴに含まれる拡張ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 5」、「temporal_id_max = 5」に設定される。 In the 60p service transmission period, at the timing immediately before the 120p service is started, a PMT having the information of the video stream of the 120p service is inserted into the container layer. In the HEVC descriptor relating to the basic stream included in the PMT, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 3”. In the HEVC descriptor related to the extension stream included in the PMT, “level_idc” is set to “level5.2”, and further, “temporal_id_min = 5” and “temporal_id_max = 5”.
この場合、１２０ｐサービスのビデオストリームの情報を持つＰＭＴの挿入時点から６０ｐサービス送信期間が終了する期間Ｔでは、ビデオレイヤの情報が６０ｐサービスのビデオストリームの情報であるのに対して、システムレイヤの情報は１２０ｐサービスのビデオストリームの情報となる。しかし、この例では、ビデオの“temporal_id”の値と、ＨＥＶＣデスクリプタの“temporal_id”の値の範囲は整合する。これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、階層符号化が行われているからである。 In this case, in a period T in which the 60p service transmission period ends from the insertion point of the PMT having the information of the video stream of the 120p service, the information of the video layer is the information of the video stream of the 60p service, whereas the information of the video layer is the information of the video layer of the system layer. The information is information of the video stream of the 120p service. However, in this example, the range of the value of “temporal_id” of the video matches the range of the value of “temporal_id” of the HEVC descriptor. This is because layer encoding is performed so that the video stream of each service falls within a mutually independent range in which the layers of pictures included in the basic stream and the extension stream are assigned in advance.
図２２は、サービスの切り替え動作に伴う階層符号化構造の変化の一例を示している。この例は、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられていない例である。 FIG. 22 shows an example of a change in the hierarchical coding structure accompanying a service switching operation. In this example, the layers of the pictures included in the basic stream and the extension stream are not allocated in advance.
この例では、６０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜３の階層のピクチャが存在している。６０ｐサービスのビデオストリームには、基本ストリームのみが含まれる。この基本ストリームに、０から３の全ての階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。
In this example, the video stream of the 60p service includes coded image data of each hierarchically coded picture. In this case, there are pictures of
また、この例では、１２０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜３の階層のピクチャが存在している。１２０ｐサービスのビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。基本ストリームに０から２の階層のピクチャが含まれ、拡張ストリームに３の階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳ（Sequence Prameter Set）おいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。
In this example, the video stream of the 120p service includes coded image data of each hierarchically coded picture. In this case, there are pictures of
６０ｐサービス送信期間が開始される直前のタイミングで、コンテナのレイヤに、その６０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴに含まれるＨＥＶＣデスクリプタ（HEVC descriptor）において、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。 At a timing immediately before the start of the 60p service transmission period, the PMT having the information of the video stream of the 60p service is inserted into the layer of the container. In the HEVC descriptor (HEVC descriptor) included in the PMT, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 3”.
同様に、６０ｐサービス送信期間において、１２０ｐサービスが開始される直前のタイミングで、コンテナのレイヤに、その１２０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴに含まれる基本ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 2」に設定される。また、このＰＭＴに含まれる拡張ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 3」、「temporal_id_max = 3」に設定される。 Similarly, at the timing immediately before the start of the 120p service in the 60p service transmission period, the PMT having the information of the video stream of the 120p service is inserted into the container layer. In the HEVC descriptor relating to the basic stream included in the PMT, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 2”. In the HEVC descriptor related to the extension stream included in the PMT, “level_idc” is set to “level5.2”, and further, “temporal_id_min = 3” and “temporal_id_max = 3”.
この場合、１２０ｐサービスのビデオストリームの情報を持つＰＭＴの挿入時点から６０ｐサービス送信期間が終了する期間Ｔでは、ビデオレイヤの情報が６０ｐサービスのビデオストリームの情報であるのに対して、システムレイヤの情報は１２０ｐサービスのビデオストリームの情報となる。そして、この例では、ビデオの“temporal_id”の値と、ＨＥＶＣデスクリプタの“temporal_id”の値の範囲は整合しなくなる。これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、階層符号化が行われていず、temporal_ID = 3のレイヤが、基本ストリームに存在したり、拡張ストリームに存在したり、と変動するからである。 In this case, in a period T in which the 60p service transmission period ends from the point of insertion of the PMT having the video stream information of the 120p service, the information of the video layer is the information of the video stream of the 60p service, while the information of the video layer is information of the system layer. The information is information of the video stream of the 120p service. Then, in this example, the range of the value of “temporal_id” of the video does not match the range of the value of “temporal_id” of the HEVC descriptor. This is because hierarchical coding is not performed so that the video stream of each service falls within a mutually independent range in which the layers of the pictures to be included in the basic stream and the extension stream are allocated in advance, and the layer of temporal_ID = 3 is used. This is because it varies in the basic stream or in the extension stream.
以上説明したように、図１に示す送受信システム１０において、送信装置１００では、基本ストリーム、拡張ストリームに固定の識別子（ＰＩＤ）が付与されるものである。そのたえめ、受信側では、６０ｐサービスから１２０ｐに、あるいは１２０ｐサービスから６０ｐサービスに切り替わる場合にあっても、デマルチプレクサ２０３で各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。
As described above, in the transmission /
また、図１に示す送受信システム１０において、これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、各サービスのビデオストリームの階層符号化が行われるものである。そのため、ビデオの“temporal_id”の値と、ＨＥＶＣデスクリプタの“temporal_id”の値の範囲が不整合となることを回避できる。
Further, in the transmission /
＜２．変形例＞
なお、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
<2. Modification>
Although the transmission and
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。 In the above-described embodiment, an example has been described in which the container is a transport stream (MPEG-2 TS). However, the present technology can be similarly applied to a system configured to be distributed to a receiving terminal using a network such as the Internet. In the case of distribution on the Internet, it is often distributed in MP4 or other format containers. That is, as containers, containers of various formats such as a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution correspond.
また、本技術は、以下のような構成を取ることもできる。
（１）動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記送信部は、
上記第１から第Ｎのストリームのそれぞれに固定の識別子を付与する
送信装置。
（２）上記送信部は、
上記第１のビデオストリームの送信期間において、
常には、該第１のビデオストリームを構成する各ストリームの識別子情報をコンテナのレイヤに挿入して送信し、
上記第２のビデオストリームの送信期間が開始される直前のタイミングで該第２のビデオストリームを構成する各ストリームの識別情報をコンテナのレイヤに挿入して送信する
前記（１）に記載の送信装置。
（３）上記送信部は、
上記各ビデオストリームの送信期間において、
上記第１から第Ｎの各ストリームの識別情報をコンテナのレイヤに挿入して送信する
前記（１）に記載の送信装置。
（４）上記送信部は、
上記各ビデオストリームの送信期間において、
切り替え情報をコンテナのレイヤに挿入して送信する
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記切り替え情報は、上記第２のビデオストリームが持つ符号化画像データのフレームレート情報および/またはストリーム構成情報を含む
前記（４）に記載の送信装置。
（６）上記第１のビデオストリームおよび上記第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームにより構成される
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記基本ストリームにより構成されるビデオストリームは、第１のフレームレートの符号化画像データを持ち、
上記基本ストリームおよび上記拡張ストリームにより構成されるビデオストリームは、上記第１のフレームレートの２倍の第２のフレームレートの符号化画像データを持つ
前記（６）に記載の送信装置。
（８）上記画像符号化部は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層をＭ個の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、上記各ビデオストリームの上記第１から第Ｍのストリームを生成し、
上記第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記送信部は、
上記第１のビデオストリームの送信期間において、
常には、該第１のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、
上記第２のビデオストリームの送信期間が開始される直前のタイミングで該第２のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する
前記（８）に記載の送信装置。
（１０）上記第１のビデオストリームおよび上記第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、
上記画像符号化部は、
上記拡張ストリームに含めるピクチャの階層が一つとなるように符号化する
前記（８）または（９）に記載の送信装置。
（１１）上記送信部は、
上記各ビデオストリームの送信期間において、
該ビデオストリームに上記基本ストリームのみが含まれるとき、
上記基本ストリームのピクチャの階層範囲情報と共に、上記拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する
前記（１０）に記載の送信装置。
（１２）動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化ステップと、
上記画像符号化ステップで生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記送信ステップでは、
上記第１から第Ｎのストリームのそれぞれに固定の識別子を付与する
送信方法。
（１３）符号化画像データを持つ第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを受信する受信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記第１から第Ｎのストリームのそれぞれに固定の識別子が付与されており、
上記第１のビデオストリームおよび上記第２のビデオストリームに含まれる各ストリームを、それぞれ、付与されている識別子に基づいてフィルタリングして処理する処理部をさらに備える
受信装置。
（１４）上記各ビデオストリームの上記第１から第Ｍのストリームは、
動画像データを構成する各ピクチャの画像データが複数の階層に分類され、該分類された各階層のピクチャの画像データが符号化されると共に、上記複数の階層がＭ個の階層組に分割され、該分割された各階層組のピクチャの符号化画像データをそれぞれ持ち、
上記第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されている
前記（１３）に記載の受信装置。
（１５）符号化画像データを持つ第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記第１から第Ｎのストリームのそれぞれに固定の識別子が付与されており、
上記第１のビデオストリームおよび上記第２のビデオストリームに含まれる各ストリームを、それぞれ、付与されている識別子に基づいてフィルリングして処理する処理ステップをさらに有する
受信方法。
（１６）符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記画像符号化部は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層をＭ個の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、上記各ビデオストリームの上記第１から第Ｍのストリームを生成し、
上記第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする
送信装置。
（１７）上記送信部は、
上記第１のビデオストリームの送信期間において、
常には、該第１のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、
上記第２のビデオストリームの送信期間が開始される直前のタイミングで該第２のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する
前記（１６）に記載の送信装置。
（１８）上記第１のビデオストリームおよび上記第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、
上記拡張ストリームに含まれるピクチャの階層は一つとされている
前記（１６）または（１７）に記載の送信装置。
（１９）上記送信部は、
上記各ビデオストリームの送信期間において、
該ビデオストリームに上記基本ストリームのみが含まれるとき、
上記基本ストリームのピクチャの階層範囲情報と共に、上記拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する
前記（１８）に記載の送信装置。
In addition, the present technology may have the following configurations.
(1) an image encoding unit that encodes image data of each picture constituting moving image data to generate a video stream;
A transmitting unit that transmits a container of a predetermined format including the first video stream and the second video stream continuously generated by the image encoding unit,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
The transmission unit,
A transmission device that assigns a fixed identifier to each of the first to Nth streams.
(2) The transmitting unit includes:
In the transmission period of the first video stream,
Normally, the identifier information of each stream constituting the first video stream is inserted into the layer of the container and transmitted.
The transmission device according to (1), wherein identification information of each stream constituting the second video stream is inserted into a container layer and transmitted at a timing immediately before the transmission period of the second video stream starts. .
(3) The transmitting unit:
In the transmission period of each video stream,
The transmission device according to (1), wherein the identification information of each of the first to Nth streams is inserted into a container layer and transmitted.
(4) The transmitting unit:
In the transmission period of each video stream,
The transmission device according to any one of (1) to (3), wherein the switching information is inserted into a layer of the container and transmitted.
(5) The transmission device according to (4), wherein the switching information includes frame rate information and / or stream configuration information of encoded image data included in the second video stream.
(6) The transmission device according to any one of (1) to (5), wherein the first video stream and the second video stream include at least a basic stream among a basic stream and an extension stream.
(7) A video stream composed of the basic stream has encoded image data of a first frame rate,
The transmission device according to (6), wherein the video stream including the basic stream and the extension stream has encoded image data of a second frame rate that is twice the first frame rate.
(8) The image encoding unit includes:
Classifying the image data of each picture constituting the moving image data into a plurality of layers, encoding the image data of the classified pictures of the respective layers, and dividing the plurality of layers into a set of M layers; Generating the first to M-th streams of each of the video streams, each having encoded image data of a picture of each of the divided hierarchical sets,
The transmission device according to any one of (1) to (7), wherein layer encoding is performed such that layers of pictures included in each of the first to M-th streams fall within mutually pre-assigned independent ranges. .
(9) The transmitting unit:
In the transmission period of the first video stream,
Usually, the hierarchical range information of the picture of each stream constituting the first video stream is inserted into the layer of the container and transmitted,
At the timing immediately before the start of the transmission period of the second video stream, the hierarchical range information of the picture of each stream constituting the second video stream is inserted into the container layer and transmitted. Transmission device.
(10) The first video stream and the second video stream include at least a basic stream among a basic stream and an extension stream,
The image encoding unit includes:
The transmitting device according to (8) or (9), wherein encoding is performed such that the number of picture layers included in the extension stream is one.
(11) The transmitting unit:
In the transmission period of each video stream,
When the video stream includes only the basic stream,
The transmitting device according to (10), wherein the hierarchical range information of the picture of the extension stream is inserted into the layer of the container together with the hierarchical range information of the picture of the basic stream and transmitted.
(12) an image encoding step of encoding image data of each picture constituting moving image data to generate a video stream;
A transmitting step of transmitting a container of a predetermined format continuously including the first video stream and the second video stream generated in the image encoding step,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
In the above transmission step,
A transmission method for assigning a fixed identifier to each of the first to Nth streams.
(13) a receiving unit that receives a container of a predetermined format that continuously includes a first video stream and a second video stream having encoded image data,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
A fixed identifier is assigned to each of the first to Nth streams,
A receiving device further comprising a processing unit that filters and processes each of the streams included in the first video stream and the second video stream based on the assigned identifier.
(14) The first to M-th streams of each video stream are:
The image data of each picture constituting the moving image data is classified into a plurality of layers, the image data of the classified pictures of each layer is encoded, and the plurality of layers are divided into M sets of layers. Having coded image data of pictures of each of the divided hierarchical sets,
The receiving apparatus according to (13), wherein the layers included in the first to M-th streams are hierarchically encoded such that the layers of the pictures included in the respective streams fall within independent ranges which are assigned in advance.
(15) having a receiving step of receiving a container of a predetermined format continuously including a first video stream and a second video stream having encoded image data,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
A fixed identifier is assigned to each of the first to Nth streams,
A reception method, further comprising a processing step of filtering and processing each stream included in the first video stream and the second video stream based on an assigned identifier.
(16) an image encoding unit that generates a video stream having encoded image data;
A transmitting unit that transmits a container of a predetermined format including the first video stream and the second video stream continuously generated by the image encoding unit,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
The image encoding unit includes:
Classifying the image data of each picture constituting the moving image data into a plurality of layers, encoding the classified image data of the pictures of each layer, and dividing the plurality of layers into a set of M layers; Generating the first to M-th streams of each of the video streams, each having encoded image data of a picture of each of the divided hierarchical sets,
A transmission apparatus that performs layer coding so that the layers of pictures included in each of the first to M-th streams fall within mutually pre-assigned independent ranges.
(17) The transmitting unit:
In the transmission period of the first video stream,
Always, insert the hierarchical range information of the picture of each stream included in the first video stream into the layer of the container and transmit it.
At the timing immediately before the transmission period of the second video stream starts, the hierarchical range information of the picture of each stream included in the second video stream is inserted into the layer of the container and transmitted. Transmission device.
(18) The first video stream and the second video stream include at least a basic stream among a basic stream and an extension stream,
The transmission device according to (16) or (17), wherein the extension stream has one layer of pictures.
(19) The transmitting unit includes:
In the transmission period of each video stream,
When the video stream includes only the basic stream,
The transmitting device according to (18), wherein the hierarchical range information of the picture of the extension stream is inserted into the layer of the container together with the hierarchical range information of the picture of the basic stream and transmitted.
本技術の主な特徴は、基本ストリーム、拡張ストリームに固定の識別子を付与することで、サービスの切り替えがあっても、受信側では、デマルチプレクサで各ストリームを取り出すフィルタの設定を変更することを要せず、表示ミュートの発生を抑制し、シームレス表示を可能としたことである（図１６参照）。また、本技術の主な特徴は、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように各サービスのビデオストリームの階層符号化を行うことで、ビデオとＨＥＶＣデスクリプタの“temporal_id”の値が不一致となることを回避したことである（図２０参照）。 The main feature of this technology is to assign a fixed identifier to the basic stream and extension stream, so that even if the service is switched, the receiving side can change the setting of the filter that extracts each stream with the demultiplexer. This eliminates the need for display mute and enables seamless display (see FIG. 16). In addition, the main feature of the present technology is that the video stream of each service is layer-encoded so that the layer of the picture included in each of the basic stream and the extension stream falls within a pre-assigned mutually independent range. This is to avoid that the values of “temporal_id” of the HEVC descriptor do not match (see FIG. 20).
１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２Ａ，１０２Ｂ・・・エンコーダ
１０３Ａ，１０３Ｂ・・・圧縮データバッファ（ｃｐｂ）
１０４・・・マルチプレクサ
１０５・・・送信部
１４１・・・セクション情報発生部
１４２・・・ヌルパケット発生部
１４３・・・セレクタ
１４４・・・ＰＩＤ割り当て部
１４５・・・ＴＳ多重化部
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・圧縮データバッファ（ｃｐｂ）
２０５・・・デコーダ
２０６・・・非圧縮データバッファ（ｄｐｂ）
２０７・・・ポスト処理部
２０８・・・表示部
２３１・・・ＰＩＤフィルタ
２３２_０〜２３２_ｎ，２３２_null，２３２_ｃ・・・多重化バッファ
２３３・・・セクションフィルタ
２３４・・・ＰＭＴ解析部
10 Transmission /
102A, 102B ... encoder 103A, 103B ... compressed data buffer (cpb)
104: Multiplexer 105: Transmitting unit 141: Section information generating unit 142: Null packet generating unit 143: Selector 144: PID assigning unit 145: TS multiplexing unit 200: -Receiving device 201 ... CPU
202: receiving unit 203: demultiplexer 204: compressed data buffer (cpb)
205: decoder 206: uncompressed data buffer (dpb)
207
Claims (6)
上記基本ストリームの各ピクチャの階層構造が変化する場合において、上記拡張ストリームに含まれるピクチャの階層は上記基本ストリームのピクチャが取り得る最大階層より大きな固定の階層とされており、
デコード能力に応じて、上記基本ストリームに含まれる各階層のピクチャの符号化画像データのみを抽出し、あるいは上記基本ストリームに含まれる各階層のピクチャの符号化画像データおよび上記拡張ストリームに含まれる上記固定の階層のピクチャの符号化画像データの双方を抽出し、デコード処理を行って得られた各ピクチャの画像データのフレームレートを表示能力に合わせる処理部をさらに備える
受信装置。 A base stream having encoded image data of a lower layer picture and an extended stream having encoded image data of a higher layer picture, which are generated by hierarchically encoding the image data of each picture constituting moving image data. And a receiving unit for receiving a multiplexed stream including
When the layer structure of each picture of the basic stream changes, the layer of the picture included in the extension stream is a fixed layer larger than the maximum layer that the picture of the basic stream can take,
Depending on the decoding capability, only the coded image data of the picture of each layer included in the basic stream is extracted, or the coded image data of the picture of each layer included in the basic stream and the both extracted encoded image data of a picture of a fixed hierarchy, further comprising receiving apparatus section to match the frame rate of the image data of each picture obtained by performing the decode processing on the display capabilities.
請求項１に記載の受信装置。The receiving device according to claim 1.
請求項１に記載の受信装置。The receiving device according to claim 1.
請求項１に記載の受信装置。The receiving device according to claim 1.
請求項１に記載の受信装置。 The receiving device according to claim 1.
上記基本ストリームの各ピクチャの階層構造が変化する場合において、上記拡張ストリームに含まれるピクチャの階層は上記基本ストリームのピクチャが取り得る最大階層より大きな固定の階層とされており、
処理部が、デコード能力に応じて、上記基本ストリームに含まれる各階層のピクチャの符号化画像データのみを抽出し、あるいは上記基本ストリームに含まれる各階層のピクチャの符号化画像データおよび上記拡張ストリームに含まれる上記固定の階層のピクチャの符号化画像データの双方を抽出し、デコード処理を行って得られた各ピクチャの画像データのフレームレートを表示能力に合わせる処理ステップをさらに有する
受信方法。 A receiving unit configured to encode the image data of each picture constituting the moving image data by hierarchical encoding, and generate a basic stream having encoded image data of a lower hierarchical picture and encoded image data of a higher hierarchical picture; Having a receiving step of receiving a multiplexed stream including an extension stream having
When the layer structure of each picture of the basic stream changes, the layer of the picture included in the extension stream is a fixed layer larger than the maximum layer that the picture of the basic stream can take,
The processing unit extracts only the coded image data of the picture of each layer included in the basic stream or the coded image data of the picture of each layer included in the basic stream and the extension stream according to the decoding capability. the both coded image data of the picture fixed hierarchy extracts, receiving method further comprising the process steps to match the display capability of the frame rate of the image data of each picture obtained by performing the decode processing included in.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015153166A JP6671120B2 (en) | 2015-08-03 | 2015-08-03 | Transmitting device, transmitting method, receiving device and receiving method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015153166A JP6671120B2 (en) | 2015-08-03 | 2015-08-03 | Transmitting device, transmitting method, receiving device and receiving method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014083232A Division JP5836424B2 (en) | 2014-04-14 | 2014-04-14 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015232809A Division JP5961317B2 (en) | 2015-11-30 | 2015-11-30 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
| JP2015232815A Division JP5966075B2 (en) | 2015-11-30 | 2015-11-30 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2015204634A JP2015204634A (en) | 2015-11-16 |
| JP2015204634A5 JP2015204634A5 (en) | 2017-04-27 |
| JP6671120B2 true JP6671120B2 (en) | 2020-03-25 |
Family
ID=54597808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015153166A Active JP6671120B2 (en) | 2015-08-03 | 2015-08-03 | Transmitting device, transmitting method, receiving device and receiving method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6671120B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018037985A1 (en) * | 2016-08-22 | 2018-03-01 | ソニー株式会社 | Transmission apparatus, transmission method, reception apparatus, and reception method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9525895B2 (en) * | 2012-08-27 | 2016-12-20 | Sony Corporation | Transmission device, transmission method, reception device, and reception method |
-
2015
- 2015-08-03 JP JP2015153166A patent/JP6671120B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015204634A (en) | 2015-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11800162B2 (en) | Transmission device, transmission method, reception device, and reception method | |
| US11758160B2 (en) | Transmission device, transmission method, reception device, and reception method | |
| JP2023010912A (en) | Transmission method and reception device | |
| JP5961317B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
| JP6671120B2 (en) | Transmitting device, transmitting method, receiving device and receiving method | |
| JP5966075B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
| JP5976189B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
| JP6350638B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
| JP5976188B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
| JP6052354B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
| JP2018157591A (en) | Transmitter, transmission method, receiver and reception method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170327 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170327 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180724 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200303 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6671120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |