JP6671120B2 - Transmitting device, transmitting method, receiving device and receiving method - Google Patents
Transmitting device, transmitting method, receiving device and receiving method Download PDFInfo
- Publication number
- JP6671120B2 JP6671120B2 JP2015153166A JP2015153166A JP6671120B2 JP 6671120 B2 JP6671120 B2 JP 6671120B2 JP 2015153166 A JP2015153166 A JP 2015153166A JP 2015153166 A JP2015153166 A JP 2015153166A JP 6671120 B2 JP6671120 B2 JP 6671120B2
- Authority
- JP
- Japan
- Prior art keywords
- stream
- picture
- image data
- layer
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本技術は、送信装置、送信方法、受信装置および受信方法に関し、複数のサービスのビデオストリームを連続的に送信する送信装置等に関する。 The present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and relates to a transmission device that continuously transmits video streams of a plurality of services.
放送において、画像フォーマット、例えばフレームレートを異にする複数のサービスを混在させて送信することが考えられる。例えば、スポーツ系の番組は120Pのサービスで提供し、その他は60Pのサービスとする、などである。 In broadcasting, it is conceivable that a plurality of services having different image formats, for example, frame rates, are mixed and transmitted. For example, sports programs are provided by a 120P service, and others are provided by a 60P service.
従来、例えば、HEVC(High Efficiency Video Coding)において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている(非特許文献1参照)。受信側では、NAL(Network Abstraction Layer)ユニットのヘッダに挿入されているテンポラルID(temporal_id)情報に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。 Conventionally, for example, in HEVC (High Efficiency Video Coding), temporal scalability has been proposed by hierarchically encoding image data of each picture constituting moving image data (see Non-Patent Document 1). The receiving side can identify the layer of each picture based on the temporal ID (temporal_id) information inserted in the header of the NAL (Network Abstraction Layer) unit, and can selectively decode up to the layer corresponding to the decoding capability. Become.
本技術の目的は、サービス切り替え時における表示ミュートの発生を容易に回避することにある。 An object of the present technology is to easily avoid occurrence of display mute at the time of service switching.
本技術の概念は、
動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第1のビデオストリームと第2のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第1のビデオストリームおよび上記第2のビデオストリームは、第1から第Nのうち、第1から第M(M≦N)のストリームにより構成され、
上記送信部は、
上記第1から第Nのストリームのそれぞれに固定の識別子を付与する
送信装置にある。
The concept of this technology is
An image encoding unit that encodes image data of each picture constituting the moving image data to generate a video stream,
A transmitting unit that transmits a container of a predetermined format including the first video stream and the second video stream continuously generated by the image encoding unit,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
The transmission unit,
The transmitting apparatus assigns a fixed identifier to each of the first to Nth streams.
本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオストリームが生成される。送信部により、画像符号化部で生成された第1のビデオストリームと第2のビデオストリームとを連続的に含む所定フォーマットのコンテナが送信される。例えば、第1のビデオストリームと第2のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含む、ようにされてもよい。 In the present technology, the image encoding unit encodes image data of each picture constituting moving image data to generate a video stream. The transmitting unit transmits a container of a predetermined format that continuously includes the first video stream and the second video stream generated by the image encoding unit. For example, the first video stream and the second video stream may include at least the basic stream among the basic stream and the extension stream.
第1のビデオストリームおよび第2のビデオストリームは、第1から第Nのうち、第1から第M(M≦N)のストリームにより構成される。そして、送信部により、第1から第Nのストリームのそれぞれに固定の識別子が付与される。 The first video stream and the second video stream are configured by first to Mth (M ≦ N) streams among the first to Nth streams. Then, a fixed identifier is assigned to each of the first to Nth streams by the transmission unit.
このように本技術によれば、各ストリームに固定の識別子が付与されるものである。そのたえめ、受信側では、サービスが切り替わる場合にあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。 As described above, according to the present technology, a fixed identifier is assigned to each stream. Therefore, on the receiving side, even when the service is switched, it is not necessary to change the setting of the filter for extracting each stream, so that the occurrence of display mute can be suppressed and seamless display can be performed.
なお、本技術において、例えば、送信部は、第1のビデオストリームの送信期間において、常には、この第1のビデオストリームを構成する各ストリームの識別子情報をコンテナのレイヤに挿入して送信し、第2のビデオストリームの送信期間が開始される直前のタイミングでこの第2のビデオストリームを構成する各ストリームの識別情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、現在受信しているビデオストリームを構成する各ストリームの識別子を容易に把握でき、さらに、切り替え後に受信されるビデオストリームを構成する各ストリームの識別子を、切り替え前に容易に把握可能となる。 In the present technology, for example, during the transmission period of the first video stream, the transmission unit always inserts the identifier information of each stream constituting the first video stream into the layer of the container and transmits the information. At the timing immediately before the transmission period of the second video stream starts, identification information of each stream constituting the second video stream may be inserted into the layer of the container and transmitted. In this case, on the receiving side, the identifier of each stream constituting the currently received video stream can be easily grasped, and further, the identifier of each stream constituting the video stream received after switching can be easily identified before switching. It becomes possible to grasp.
また、本技術において、例えば、各ビデオストリームの送信期間において、第1から第Nの各ストリームの識別情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、第1から第Nの各ストリームの識別情報を、常に把握可能となる。 Further, in the present technology, for example, during the transmission period of each video stream, the identification information of each of the first to Nth streams may be inserted into the layer of the container and transmitted. In this case, the receiving side can always grasp the identification information of each of the first to N-th streams.
また、本技術において、例えば、送信部は、各ビデオストリームの送信期間において、切り替え情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、例えば、切り替え情報は、第2のビデオストリームが持つ符号化画像データのフレームレート情報および/またはストリーム構成情報を含む、ようにされてもよい。この場合、受信側では、切り替え後に受信されるビデオストリームのフレームレート等の切り替え情報を、切り替え前に容易に把握可能となる。 In the present technology, for example, the transmission unit may be configured to insert the switching information into the layer of the container and transmit the switching information during the transmission period of each video stream. In this case, for example, the switching information may include frame rate information and / or stream configuration information of the encoded image data of the second video stream. In this case, the receiving side can easily grasp the switching information such as the frame rate of the video stream received after the switching before the switching.
また、本技術において、例えば、第1のビデオストリームおよび第2のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームにより構成される、ようにされてもよい。この場合、例えば、基本ストリームにより構成されるビデオストリームは、第1のフレームレートの符号化画像データを持ち、基本ストリームおよび拡張ストリームにより構成されるビデオストリームは、第1のフレームレートの2倍の第2のフレームレートの符号化画像データを持つ、ようにされてもよい。 In the present technology, for example, the first video stream and the second video stream may be configured to include at least the basic stream among the basic stream and the extension stream. In this case, for example, a video stream composed of the basic stream has coded image data of a first frame rate, and a video stream composed of the basic stream and the extension stream is twice as large as the first frame rate. It may have encoded image data of the second frame rate.
また、本技術において、例えば、画像符号化部は、動画像データを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化すると共に、複数の階層をM個の階層組に分割し、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、各ビデオストリームの第1から第Mのストリームを生成し、第1から第Mの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする、ようにされてもよい。この階層符号化により、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避可能となる。 Further, in the present technology, for example, the image encoding unit classifies the image data of each picture constituting the moving image data into a plurality of layers, and encodes the image data of the classified picture of each layer, A plurality of hierarchies are divided into M hierarchical sets, and first to M-th streams of each video stream having encoded image data of pictures of each of the divided hierarchical sets are generated. Hierarchical encoding may be performed so that the hierarchies of pictures included in each of the M streams fall in mutually independent ranges assigned in advance. By this layer coding, it is possible to avoid a mismatch between the system layer and the video layer as to which stream includes the predetermined layer.
また、本技術において、例えば、送信部は、第1のビデオストリームの送信期間において、常には、この第1のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、第2のビデオストリームの送信期間が開始される直前のタイミングでこの第2のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、現在受信しているビデオストリームを構成する各ストリームの階層範囲を容易に把握でき、さらに、切り替え後に受信されるビデオストリームを構成する各ストリームの階層範囲を、切り替え前に容易に把握可能となる。 Further, in the present technology, for example, during the transmission period of the first video stream, the transmission unit always inserts the hierarchical range information of the picture of each stream constituting the first video stream into the layer of the container. At the timing immediately before the transmission period of the second video stream is started, the hierarchical range information of the picture of each stream constituting the second video stream is inserted into the layer of the container and transmitted. You may. In this case, the receiving side can easily grasp the hierarchical range of each stream constituting the currently received video stream, and furthermore, determine the hierarchical range of each stream constituting the video stream received after switching before switching. It can be easily grasped.
また、本技術において、例えば、第1のビデオストリームおよび第2のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、画像符号化部は、拡張ストリームに含めるピクチャの階層が一つとなるように符号化する、ようにされてもよい。そして、この場合、例えば、送信部は、各ビデオストリームの送信期間において、ビデオストリームに基本ストリームのみが含まれるとき、基本ストリームのピクチャの階層範囲情報と共に、拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する、ようにされてもよい。 Further, in the present technology, for example, the first video stream and the second video stream include at least the basic stream of the basic stream and the extension stream, and the image encoding unit includes one layer of pictures to be included in the extension stream. May be encoded as follows. Then, in this case, for example, during the transmission period of each video stream, when only the basic stream is included in the video stream, the transmitting unit transmits the hierarchical range information of the picture of the extension stream together with the hierarchical range information of the picture of the basic stream. It may be inserted into the layer of the container and transmitted.
また、本技術の他の概念は、
符号化画像データを持つ第1のビデオストリームと第2のビデオストリームとを連続的に含む所定フォーマットのコンテナを受信する受信部を備え、
上記第1のビデオストリームおよび上記第2のビデオストリームは、第1から第Nのうち、第1から第M(M≦N)のストリームにより構成され、
上記第1から第Nのストリームのそれぞれに固定の識別子が付与されており、
上記第1のビデオストリームおよび上記第2のビデオストリームに含まれる各ストリームを、それぞれ、付与されている識別子に基づいてフィルタリングして処理する処理部をさらに備える
受信装置にある。
Another concept of the present technology is
A receiving unit configured to receive a container of a predetermined format including a first video stream and a second video stream having encoded image data continuously,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
A fixed identifier is assigned to each of the first to Nth streams,
The receiving apparatus further includes a processing unit that filters and processes each of the streams included in the first video stream and the second video stream based on the assigned identifier.
本技術において、受信部により、符号化画像データを持つ第1のビデオストリームと第2のビデオストリームとを連続的に含む所定フォーマットのコンテナが受信される。ここで、第1のビデオストリームおよび第2のビデオストリームは、第1から第Nのうち、第1から第M(M≦N)のストリームにより構成され、第1から第Nのストリームのそれぞれに固定の識別子が付与されている。そして、処理部により、第1のビデオストリームおよび第2のビデオストリームに含まれる各ストリームが、それぞれ、付与されている識別子に基づいてフィルタリングされて処理される。 In the present technology, the receiving unit receives a container of a predetermined format that continuously includes the first video stream having the encoded image data and the second video stream. Here, the first video stream and the second video stream are composed of first to M-th (M ≦ N) streams among the first to N-th streams. A fixed identifier is given. Then, the processing unit filters and processes each of the streams included in the first video stream and the second video stream based on the assigned identifier.
このように本技術によれば、各ストリームに固定の識別子が付与されるものである。そのため、サービスが切り替わる場合にあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。 As described above, according to the present technology, a fixed identifier is assigned to each stream. Therefore, even when the service is switched, it is not necessary to change the setting of the filter for extracting each stream, so that the occurrence of display mute can be suppressed and seamless display can be performed.
なお、本技術において、例えば、各ビデオストリームの第1から第Mのストリームは、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、該分類された各階層のピクチャの画像データが符号化されると共に、複数の階層がM個の階層組に分割され、この分割された各階層組のピクチャの符号化画像データをそれぞれ持ち、第1から第Mの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されている、ようにされてもよい。この階層符号化により、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避される。 In the present technology, for example, in the first to M-th streams of each video stream, the image data of each picture constituting the moving image data is classified into a plurality of layers, and the image of the classified picture of each layer is classified. The data is encoded, and the plurality of layers are divided into M layer sets, each of which has coded image data of a picture in each of the divided layer sets, and each of the first to Mth streams. Hierarchical coding may be performed so that the hierarchies of pictures to be included fall within mutually independent ranges assigned in advance. By this layer coding, it is possible to avoid a mismatch between the system layer and the video layer as to which stream includes the predetermined layer.
また、本技術の他の概念は、
符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第1のビデオストリームと第2のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第1のビデオストリームおよび上記第2のビデオストリームは、第1から第Nのうち、第1から第M(M≦N)のストリームにより構成され、
上記画像符号化部は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層をM個の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、上記各ビデオストリームの上記第1から第Mのストリームを生成し、
上記第1から第Mの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化する
送信装置にある。
Another concept of the present technology is
An image encoding unit that generates a video stream having encoded image data;
A transmitting unit that transmits a container of a predetermined format including the first video stream and the second video stream continuously generated by the image encoding unit,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
The image encoding unit includes:
Classifying the image data of each picture constituting the moving image data into a plurality of layers, encoding the image data of the classified pictures of the respective layers, and dividing the plurality of layers into a set of M layers; Generating the first to M-th streams of each of the video streams, each having encoded image data of a picture of each of the divided hierarchical sets,
There is a transmission apparatus that performs layer coding so that the layers of pictures included in each of the first to Mth streams fall within mutually pre-assigned independent ranges.
本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオストリームが生成される。送信部により、画像符号化部で生成された第1のビデオストリームと第2のビデオストリームとを連続的に含む所定フォーマットのコンテナが送信される。第1のビデオストリームおよび第2のビデオストリームは、第1から第Nのうち、第1から第M(M≦N)のストリームにより構成される。 In the present technology, the image encoding unit encodes image data of each picture constituting moving image data to generate a video stream. The transmitting unit transmits a container of a predetermined format that continuously includes the first video stream and the second video stream generated by the image encoding unit. The first video stream and the second video stream are configured by first to Mth (M ≦ N) streams among the first to Nth streams.
画像符号化部は、動画像データを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化すると共に、複数の階層をM個の階層組に分割し、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、各ビデオストリームの第1から第Mのストリームを生成し、第1から第Mの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする。 The image encoding unit classifies the image data of each picture constituting the moving image data into a plurality of layers, encodes the image data of the pictures of the classified layers, and divides the plurality of layers into M layers. A first to an M-th stream of each video stream having the coded image data of the picture of each of the divided hierarchical sets is generated and included in each of the first to M-th streams. Hierarchical encoding is performed so that the picture layers fall within mutually independent ranges assigned in advance.
このように本技術によれば、第1から第Mの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されるものである。そのため、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避可能となる。 As described above, according to the present technology, hierarchical coding is performed so that the layers of the pictures included in each of the first to Mth streams fall within mutually independent ranges assigned in advance. Therefore, it is possible to avoid a mismatch between the system layer and the video layer as to which stream includes the predetermined layer.
なお、本技術において、例えば、送信部は、第1のビデオストリームの送信期間において、常には、この第1のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、第2のビデオストリームの送信期間が開始される直前のタイミングでこの第2のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、現在受信しているビデオストリームを構成する各ストリームの階層範囲を容易に把握でき、さらに、切り替え後に受信されるビデオストリームを構成する各ストリームの階層範囲を、切り替え前に容易に把握可能となる。 In the present technology, for example, during the transmission period of the first video stream, the transmission unit always inserts the hierarchical range information of the picture of each stream included in the first video stream into the layer of the container. At the timing immediately before the transmission period of the second video stream starts, the layer range information of the picture of each stream included in the second video stream is inserted into the layer of the container and transmitted. You may. In this case, the receiving side can easily grasp the hierarchical range of each stream constituting the currently received video stream, and furthermore, determine the hierarchical range of each stream constituting the video stream received after switching before switching. It can be easily grasped.
また、本技術において、第1のビデオストリームおよび第2のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、拡張ストリームに含まれるピクチャの階層は一つとされている、ようにされてもよい。この場合、例えば、送信部は、各ビデオストリームの送信期間において、このビデオストリームに基本ストリームのみが含まれるとき、基本ストリームのピクチャの階層範囲情報と共に、拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する、ようにされてもよい。 In the present technology, the first video stream and the second video stream include at least the basic stream among the basic stream and the extension stream, and the extension stream has one layer of pictures. You may. In this case, for example, during the transmission period of each video stream, when only the basic stream is included in this video stream, the transmitting unit transmits the hierarchical range information of the picture of the extension stream together with the And transmitting it by inserting it into the other layer.
本技術によれば、サービス切り替え時における表示ミュートの発生を容易に回避できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
According to the present technology, it is possible to easily avoid occurrence of display mute at the time of service switching.
Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
Hereinafter, embodiments for carrying out the invention (hereinafter, referred to as “embodiments”) will be described. The description will be made in the following order.
1.
<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
<1. Embodiment>
[Transmission / reception system]
FIG. 1 shows a configuration example of a transmission /
送信装置100は、コンテナとしてのトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、複数のサービスのビデオストリームが連続的に含まれる。この場合、各ビデオストリームは、第1からNのうち、第1から第M(M≦N)のストリームで構成される。この場合、第1からNのストリームのそれぞれに固定のPID(パケット識別子)が付与される。
The
また、各ビデオストリームを構成する第1から第Mのストリームは、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、この分類された各階層のピクチャの画像データが符号化されると共に、複数の階層がM個の階層組に分割され、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つものとされる。この場合、第1から第Mの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化される。 In the first to M-th streams constituting each video stream, the image data of each picture constituting the moving image data is classified into a plurality of layers, and the image data of the pictures of each of the classified layers is encoded. At the same time, the plurality of hierarchies are divided into M hierarchical sets, and each of the divided hierarchical sets has coded image data of a picture. In this case, the layers are hierarchically encoded such that the layers of the pictures included in each of the first to M-th streams fall within mutually independent ranges assigned in advance.
図2は、サービス切換えのケースの一例を示している。図2(a)は、2160/60/pのビデオフォーマットのサービスから、2160/120/pのビデオフォーマットのサービスへの切替えを示している。この場合、1ストリームから2ストリームへの切替えとなる。図2(b)は、1080/60/pのビデオフォーマットのサービスから、2160/60/pのビデオフォーマットのサービスへの切替えを示している。この場合、1ストリームから1ストリームへの切替えとなる。 FIG. 2 shows an example of a service switching case. FIG. 2A shows switching from the service of the video format of 2160/60 / p to the service of the video format of 2160/120 / p. In this case, switching from one stream to two streams is performed. FIG. 2B shows switching from the service of the video format of 1080/60 / p to the service of the video format of 2160/60 / p. In this case, switching from one stream to one stream is performed.
図2(c)は、1080/60/pのビデオフォーマットのサービスから、2160/120/pのビデオフォーマットのサービスへの切替えを示している。この場合、1ストリームから2ストリームへの切替えとなる。図2(d)は、2160/120/pのビデオフォーマットのサービスから、1080/60/pのビデオフォーマットのサービスへの切替えを示している。この場合、2ストリームから1ストリームへの切替えとなる。 FIG. 2C shows switching from a video format service of 1080/60 / p to a service of video format of 2160/120 / p. In this case, switching from one stream to two streams is performed. FIG. 2D shows switching from a video format service of 2160/120 / p to a video format service of 1080/60 / p. In this case, switching from two streams to one stream is performed.
図2(e)は、1080/60/pのビデオフォーマットのサービスから、1080/60/iのビデオフォーマットのサービスへの切替えを示している。この場合、1ストリームから1ストリームへの切替えとなる。図2(f)は、2160/60/pのビデオフォーマットの3番組サービスから、4320/60/pのビデオフォーマットのサービスへの切替えを示している。この場合、3ストリームから1ストリームへの切替えとなる FIG. 2E shows switching from the service of the video format of 1080/60 / p to the service of the video format of 1080/60 / i. In this case, switching from one stream to one stream is performed. FIG. 2 (f) shows switching from the 3 program service of the 2160/60 / p video format to the service of the 4320/60 / p video format. In this case, switching from three streams to one stream is performed.
図3は、階層符号化の一例を示し、矩形枠のそれぞれがピクチャを示している。図3(a)は、最上位階層が3とされた例であって、0から3の階層の全てが基本ストリームの階層範囲とされた例である。この例では、0から3の全ての階層にピクチャが存在している。図3(b)は、最上位階層が3とされた例であって、0から3の階層の全てが基本ストリームの階層範囲とされた例である。この例では、3の階層にはピクチャが存在しておらず、階層ギャップとなっている。図3(c)は、最上位階層が3とされた例であって、0から3の階層の全てが基本ストリームの階層範囲とされた例である。この例では、2の階層にはピクチャが存在しておらず、階層ギャップとなっている。 FIG. 3 shows an example of hierarchical coding, in which each rectangular frame represents a picture. FIG. 3A is an example in which the highest layer is set to 3, and all the layers from 0 to 3 are set as the layer range of the basic stream. In this example, pictures exist in all layers from 0 to 3. FIG. 3B shows an example in which the highest layer is set to 3, and all layers from 0 to 3 are set as the layer range of the basic stream. In this example, no picture exists in the third layer, which is a layer gap. FIG. 3C shows an example in which the highest layer is set to 3, and all layers from 0 to 3 are set as the layer range of the basic stream. In this example, no picture exists in the second layer, which is a layer gap.
図3(d)は、最上位階層が4とされた例であって、0から3の階層が基本ストリームの階層範囲とされ、4の階層が拡張ストリームの階層範囲とされた例である。この例では、3の階層にはピクチャが存在しておらず、階層ギャップとなっている。図3(e)は、最上位階層が3とされた例であって、0から2の階層が基本ストリームの階層範囲とされ、3の階層が拡張ストリームの階層範囲とされた例である。この例では、0から3の全ての階層にピクチャが存在している。
FIG. 3D shows an example in which the highest layer is set to 4, where 0 to 3 layers are set as the layer range of the basic stream, and 4 layers are set as the layer range of the extension stream. In this example, no picture exists in the third layer, which is a layer gap. FIG. 3E shows an example in which the highest layer is set to 3, in which the layers from 0 to 2 are set as the layer range of the basic stream, and the
階層符号化においては、例えば、H.264/AVC、H.265/HEVCなどの符号化が施され、被参照ピクチャが自己階層および/または自己階層よりも低い階層に所属するように符号化される。各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報(temporal_id)が付加される。各ピクチャのNALユニット(nal_unit)のヘッダ部分に、階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”)が配置される。このように階層識別情報が付加されることで、受信側では、各ピクチャの所属階層を知ることができる。 In hierarchical coding, for example, H.264 / AVC, H.264. Encoding such as H.265 / HEVC is performed, and the referenced picture is encoded so as to belong to its own layer and / or a layer lower than its own layer. Layer identification information (temporal_id) for identifying the layer to which the layer belongs is added to the coded image data of the picture of each layer for each picture. In the header portion of the NAL unit (nal_unit) of each picture, “nuh_temporal_id_plus1” meaning hierarchical identification information (temporal_id) is arranged. By adding the layer identification information in this way, the receiving side can know the layer to which each picture belongs.
図4(a)は、NALユニットヘッダの構造例(Syntax)を示し、図4(b)は、その構造例における主要なパラメータの内容(Semantics)を示している。「Forbidden_zero_bit」の1ビットフィールドは、0が必須である。「Nal_unit_type」の6ビットフィールドは、NALユニットタイプを示す。「Nuh_layer_id」の6ビットフィールドは、0を前提とする。「Nuh_temporal_id_plus1」の3ビットフィールドは、temporal_idを示し、1を加えた値(1〜6)をとる。 FIG. 4A shows a structural example (Syntax) of the NAL unit header, and FIG. 4B shows contents (Semantics) of main parameters in the structural example. In the 1-bit field of “Forbidden_zero_bit”, 0 is essential. A 6-bit field of “Nal_unit_type” indicates a NAL unit type. It is assumed that the 6-bit field of “Nuh_layer_id” is 0. The 3-bit field of “Nuh_temporal_id_plus1” indicates temporal_id, and takes a value (1 to 6) obtained by adding “1”.
各サービスのビデオストリームの送信期間において、コンテナのレイヤに、PID(パケット識別子)情報が挿入される。この場合、例えば、以下の第1、第2のPID情報挿入態様のいずれかで挿入される。このPID情報は、例えば、プログラムマップテーブル(PMT:Program Map Table)の配下に挿入される。 In the transmission period of the video stream of each service, PID (packet identifier) information is inserted into the container layer. In this case, for example, it is inserted in one of the following first and second PID information insertion modes. This PID information is inserted, for example, under a program map table (PMT: Program Map Table).
「第1のPID情報挿入態様」
第1のPID情報挿入態様では、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのPID情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのPID情報が挿入される。
"First PID information insertion mode"
In the first PID information insertion mode, in the transmission period of a video stream of a certain service, PID information of each stream constituting the video stream is always inserted, and the transmission period of the video stream of the next service is started. At the immediately preceding timing, the PID information of each stream constituting this video stream is inserted.
「第2のPID情報挿入態様」
第2のPID情報挿入態様では、各サービスのビデオストリームの送信期間おいて、第1から第Nの各ストリームのPID情報が挿入される。
"Second PID information insertion mode"
In the second PID information insertion mode, PID information of each of the first to Nth streams is inserted during the transmission period of the video stream of each service.
また、各サービスのビデオストリームの送信期間において、コンテナのレイヤに、階層範囲情報が挿入される。この階層範囲情報は、例えば、プログラムマップテーブル(PMT)の配下に挿入される。この場合、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入される。 Also, in the transmission period of the video stream of each service, the hierarchical range information is inserted into the layer of the container. This hierarchy range information is inserted, for example, under a program map table (PMT). In this case, in the transmission period of the video stream of a certain service, the hierarchical range information of the picture of each stream constituting the video stream is always inserted, and the timing immediately before the transmission period of the video stream of the next service is started Then, the hierarchical range information of the picture of each stream constituting this video stream is inserted.
また、各サービスのビデオストリームの送信期間において、コンテナのレイヤに、切り替え情報が挿入される。この切り替え情報には、例えば、次のサービスのビデオストリームが持つ符号化画像データのフレームレート情報、ストリーム構成情報等が含まれる。この切り替え情報は、例えば、プログラムマップテーブル(PMT)の配下に挿入される。 Further, in the transmission period of the video stream of each service, switching information is inserted into the layer of the container. The switching information includes, for example, frame rate information of encoded image data of the video stream of the next service, stream configuration information, and the like. This switching information is inserted, for example, under a program map table (PMT).
受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームTSを受信する。このトランスポートストリームTSには、複数のサービスのビデオストリームが連続的に含まれている。各ビデオストリームは、第1からNのうち、第1から第M(M≦N)のストリームで構成されている。ここで、第1からNのストリームのそれぞれに固定のPID(パケット識別子)が付与される。
The receiving
受信装置200は、コンテナのレイヤに挿入されているPID(パケット識別子)情報から、トランスポートストリームTSに含まれているビデオストリームを構成する各ストリームのPIDを認識する。受信装置200は、ビデオストリームを構成する各ストリームを、それに付与されているPIDに基づいてフィルタリングして処理する。受信装置200は、トランスポートストリームTSに連続的に含まれる各サービスのビデオストリームによる画像を順次表示する。
The receiving
この場合、第1からNのストリームのそれぞれに固定のPID(パケット識別子)が付与されることから、サービスが切り替わる場合にあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生が抑制され、シームレス表示が行われる。 In this case, since a fixed PID (packet identifier) is assigned to each of the first to N streams, even when the service is switched, it is not necessary to change the filter setting for extracting each stream. Therefore, the occurrence of display mute is suppressed, and seamless display is performed.
受信装置200は、コンテナのレイヤに挿入されている階層範囲情報から、トランスポートストリームTSに含まれているビデオストリームを構成する各ストリームのピクチャの階層範囲を認識する。この場合、第1から第Mの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されていることから、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避される。
The receiving
また、受信装置200は、コンテナのレイヤに挿入されている切り替え情報から、サービスの切り替え前に、次のサービスのビデオストリームが持つ符号化画像データのフレームレート情報等を認識する。
In addition, the
この実施の形態では、N=2とされ、各ビデオストリームは、基本ストリーム(Base stream)のみで構成されるか、あるいは基本ストリーム(Base stream)および拡張ストリーム(Enhanced stream)で構成される。ここで、60Pのサービスの場合には、ビデオストリームは基本ストリームのみで構成され、120Pのサービスの場合には、ビデオストリームは基本ストリームおよび拡張ストリームで構成されるものとする。 In this embodiment, N = 2, and each video stream is composed of only a base stream (Base stream), or is composed of a basic stream (Base stream) and an extended stream (Enhanced stream). Here, in the case of the 60P service, the video stream is composed of only the basic stream, and in the case of the 120P service, the video stream is composed of the basic stream and the extension stream.
そして、この実施の形態では、拡張ストリームに含めるピクチャの階層が一つとなるように符号化される。また、基本ストリームのみで構成されるビデオストリームの送信期間では、以下の第1、第2の態様のいずれかの態様とされる。第1の態様では、基本ストリームの階層範囲情報のみが挿入される。第2の態様では、基本ストリームの階層範囲情報が挿入される他、拡張ストリームが取り得る階層範囲の情報が挿入される。 Then, in this embodiment, encoding is performed such that the number of layers of pictures included in the extension stream is one. Further, in the transmission period of the video stream composed of only the basic stream, any one of the following first and second modes is adopted. In the first mode, only the layer range information of the basic stream is inserted. In the second aspect, in addition to the hierarchical range information of the basic stream, information of the hierarchical range that the extension stream can take is inserted.
この場合、例えば、最小(mix)と最大(max)の値が異なる値とされ、実際には拡張ストリームが存在しないことをも意味するものとされる。すなわち、この実施の形態では、拡張ストリームに含めるピクチャの階層が一つとなるように符号化されるものであり、拡張ストリームが存在する場合には、最小(mix)と最大(max)の値は同じくなるからである。 In this case, for example, the value of the minimum (mix) and the value of the maximum (max) are set to different values, which also means that the extension stream does not actually exist. That is, in this embodiment, encoding is performed so that the number of picture layers included in the extension stream is one, and when an extension stream exists, the minimum (mix) and maximum (max) values are Because they will be the same.
「送信装置の構成」
図5は、送信装置100の構成例を示している。この送信装置100は、CPU(Central Processing Unit)101と、エンコーダ102A,102Bと、圧縮データバッファ(cpb:coded picture buffer)103A,103Bと、マルチプレクサ104と、送信部105を有している。CPU101は、制御部であり、送信装置100の各部の動作を制御する。
"Configuration of Transmitter"
FIG. 5 illustrates a configuration example of the
エンコーダ102Aは、フレーム周波数が60Hzの非圧縮の動画像データVDAを入力し、例えば、H.264/AVC、H.265/HEVCなどの符号化を行う。この際、エンコーダ102Aは、この動画像データVDAを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つ60Pのサービスに係るビデオストリームを生成する。圧縮データバッファ(cpb)103Aは、このビデオストリームを、一時的に蓄積する。
The
このビデオストリームには、基本ストリームのみが含まれる。つまり、エンコーダ102Aは、階層符号化されて得られる全ての階層のピクチャの符号化画像データを持つ基本ストリームを生成する。なお、この基本ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化される。例えば、基本ストリームに含められるピクチャの階層範囲が0〜3の階層であるとき、例えば、図3(a)〜(c)に示すように、最上位階層が3以下となるように階層符号化される。
This video stream includes only the basic stream. That is, the
エンコーダ102Bは、フレーム周波数が120Hzの非圧縮の動画像データVDBを入力し、例えば、H.264/AVC、H.265/HEVCなどの符号化を行う。この際、エンコーダ102Bは、この動画像データVDBを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つ120Pのサービスに係るビデオストリームを生成する。圧縮データバッファ(cpb)103Bは、このビデオストリームを、一時的に蓄積する。
The
このビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。つまり、エンコーダ102Bは、複数の階層を二分し、低階層側のピクチャの符号化画像データを持つ基本ストリームと、高階層側のピクチャの符号化画像データを持つ拡張ストリームを生成する。
This video stream includes a basic stream and an extension stream. That is, the
なお、この基本ストリームおよび拡張ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化され、かつ拡張ストリームに含めるピクチャの階層が一つとなるように符号化される。例えば、基本ストリームに含められるピクチャの階層範囲が0〜3の階層であり、拡張ストリームに含められるピクチャの階層範囲が4〜5の階層であるときには、例えば、図3(d)に示すように、基本ストリームに含められるピクチャの階層は3以下とされ、拡張ストリームに含められるピクチャの階層は4とされる。 It should be noted that hierarchical coding of pictures included in the basic stream and the extension stream is hierarchically encoded so as to be a previously assigned range, and encoding is performed such that the hierarchy of pictures included in the extension stream is one. For example, when the hierarchical range of the picture included in the basic stream is the hierarchy of 0 to 3 and the hierarchical range of the picture included in the extension stream is the hierarchy of 4 to 5, for example, as illustrated in FIG. The number of picture layers included in the base stream is 3 or less, and the number of picture layers included in the extension stream is 4.
マルチプレクサ104は、60Pのサービスを行う場合、圧縮データバッファ103Aに蓄積されているビデオストリームを読み出し、PESパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。このトランスポートストリームTSには、上述したように、基本ストリームのみが含まれる。マルチプレクサ104は、この基本ストリームに固定のPID(=PID_1)を付与する。
When performing the 60P service, the
また、マルチプレクサ104は、120Pのサービスを行う場合、圧縮データバッファ103Bに蓄積されているビデオストリームを読み出し、PESパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。このトランスポートストリームTSには、上述したように、基本ストリームおよび拡張ストリームが含まれる。マルチプレクサ104は、基本ストリームに固定のPID(=PID_1)を付与すると共に、拡張ストリームに固定のPID(=PID_2)を付与する。
Further, when performing the service of 120P, the
送信部105は、マルチプレクサ104で得られたトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。この場合、例えば、60Pのサービスに係るトランスポートストリームTSが送信され、続いて120Pのサービスに係るトランスポートストリームTSが送信される。あるいは、120Pのサービスに係るトランスポートストリームTSが送信され、続いて60Pのサービスに係るトランスポートストリームTSが送信される。
The transmitting
マルチプレクサ140は、各サービスのビデオストリームの送信期間において、プログラムマップテーブル(PMT)の配下に、PID情報を挿入する。この場合、マルチプレクサ140は、以下の第1のPID情報挿入態様あるいは第2のPID情報挿入態様で、PID情報を挿入する。 The multiplexer 140 inserts PID information under the program map table (PMT) during the transmission period of the video stream of each service. In this case, the multiplexer 140 inserts the PID information in the following first or second PID information insertion mode.
すなわち、第1のPID情報挿入態様では、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのPID情報を挿入し、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのPID情報を挿入する。また、第2のPID情報挿入態様では、各サービスのビデオストリームの送信期間おいて、基本ストリームおよび拡張ストリームの両方のPID情報を挿入する。 That is, in the first PID information insertion mode, during the transmission period of the video stream of a certain service, the PID information of each stream constituting the video stream is always inserted, and the transmission period of the video stream of the next service starts. The PID information of each stream constituting this video stream is inserted at the timing immediately before the stream is made. In the second PID information insertion mode, PID information of both the basic stream and the extension stream is inserted during the transmission period of the video stream of each service.
また、マルチプレクサ104は、各サービスのビデオストリームの送信期間において、プログラムマップテーブル(PMT)の配下に、階層範囲情報を挿入する。この場合、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのピクチャの階層範囲情報を挿入し、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのピクチャの階層範囲情報を挿入する。
The
ここで、マルチプレクサ104は、基本ストリームのみで構成されるビデオストリームの送信期間においては、以下の第1の態様あるいは第2の態様で、階層範囲情報を挿入する。すなわち、第1の態様では、基本ストリームの階層範囲情報のみ挿入する。また、第2の態様では、基本ストリームの階層範囲情報と共に、拡張ストリームが取り得る階層範囲の情報も挿入する。
Here, the
上述したように、拡張ストリームに含めるピクチャの階層は一つとされるが、この拡張ストリームが取り得る階層範囲の情報は、例えば複数の階層を含むものとされる。これにより、この拡張ストリームが取り得る階層範囲の情報は、文字通り拡張ストリームが取り得る階層範囲を示す他、実際には拡張ストリームが存在していないことを示唆するものとなる。 As described above, one layer of pictures is included in the extension stream, but the information of the layer range that this extension stream can take includes, for example, a plurality of layers. As a result, the information on the hierarchical range that the extension stream can take literally indicates the hierarchical range that the extension stream can take, and also indicates that the extension stream does not actually exist.
この階層範囲情報の挿入には、既存のHEVCデスクリプタ(HEVC descriptor)の「temporal_id_min」、「temporal_id_max」のフィールドを用いる。図6は、HEVCデスクリプタ(HEVC_descriptor)の構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、HEVCデスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。 To insert this hierarchical range information, the fields “temporal_id_min” and “temporal_id_max” of the existing HEVC descriptor (HEVC descriptor) are used. FIG. 6 illustrates a structural example (Syntax) of the HEVC descriptor (HEVC_descriptor). An 8-bit field of “descriptor_tag” indicates a descriptor type, and here indicates that it is a HEVC descriptor. The 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
「level_idc」の8ビットフィールドは、ビットレートのレベル指定値を示す。また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」の5ビットフィールドと、「temporal_id_max」の5ビットフィールドが存在する。「temporal_id_min」は、対応するビデオストリームに含まれる階層符号化データの最も低い階層のtemporal_idの値を示す。「temporal_id_max」は、対応するビデオストリームが持つ階層符号化データの最も高い階層のtemporal_idの値を示す。 An 8-bit field of “level_idc” indicates a level designation value of the bit rate. When “temporal_layer_subset_flag = 1”, there is a 5-bit field of “temporal_id_min” and a 5-bit field of “temporal_id_max”. “Temporal_id_min” indicates the value of temporal_id of the lowest layer of the layer coded data included in the corresponding video stream. “Temporal_id_max” indicates the value of temporal_id of the highest layer of the layer encoded data of the corresponding video stream.
また、マルチプレクサ140は、各サービスのビデオストリームの送信期間において、少なくとも、次のサービスのビデオストリームの送信期間が開始される直前のタイミングで、プログラムマップテーブル(PMT)の配下に、切り替え情報を挿入する。この切り替え情報の挿入には、新規定義するシームレス・スイッチ・デスクリプタ(Seamless_switch descriptor)、あるいは既存のビデオ・デコード・コントロール・デスクリプタ(Video_decode_control descriptor)を用いる。 The multiplexer 140 inserts the switching information under the program map table (PMT) at least at the timing immediately before the transmission period of the video stream of the next service starts during the transmission period of the video stream of each service. I do. For the insertion of the switching information, a newly defined seamless switch descriptor (Seamless_switch descriptor) or an existing video decode control descriptor (Video_decode_control descriptor) is used.
図7は、シームレス・スイッチ・デスクリプタの構造例(Syntax)を示している。また、図8は、その構造例における主要な情報の内容(Semantics)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示す。ここでは、シームレス・スイッチ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。 FIG. 7 shows a structural example (Syntax) of the seamless switch descriptor. FIG. 8 shows the content (Semantics) of main information in the example of the structure. An 8-bit field of “descriptor_tag” indicates a descriptor type. Here, it indicates that the switch is a seamless switch descriptor. The 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
「EOS_flag」の1ビットフィールドは、ストリームの最後に、“end_of_seq ”が符号化されていることを示すフラグである。“1”は、符号化されていることを示す。“0”は、符号化されていないことを示す。「number_of_streams」の3ビットフィールドは、切り替え後のサービス・ストリームの数を示す。「frame_rate」の4ビットフィールドは、切り替え後のサービス・ストリームのフレーム周波数を示す。例えば、“1001”は60Hzを示し、“1100”は120Hzを示す。 The 1-bit field of “EOS_flag” is a flag indicating that “end_of_seq” is encoded at the end of the stream. “1” indicates that encoding is performed. “0” indicates that it is not encoded. The 3-bit field of “number_of_streams” indicates the number of service streams after switching. The 4-bit field of “frame_rate” indicates the frame frequency of the service stream after switching. For example, “1001” indicates 60 Hz, and “1100” indicates 120 Hz.
「spatial_resolution」の4ビットフィールドは、切り替え後のサービス・ストリームの空間解像度を示す。例えば、“0001”は720(h)*480(v)を示し、“0010”は1280(h)*720(v)を示し、“0011”は1920(h)*1080(v)を示し、“0100”は3840(h)*2160(v)を示し、“0101”は7680(h)*4320(v)を示す。「scanning_format」の1ビットフィールドは、フレーム構造を示す。“1”はプログレッシブを示し、“0”はインターレースを示す。 The 4-bit field of "spatial_resolution" indicates the spatial resolution of the service stream after switching. For example, "0001" indicates 720 (h) * 480 (v), "0010" indicates 1280 (h) * 720 (v), "0011" indicates 1920 (h) * 1080 (v), “0100” indicates 3840 (h) * 2160 (v), and “0101” indicates 7680 (h) * 4320 (v). The 1-bit field of “scanning_format” indicates a frame structure. “1” indicates progressive, and “0” indicates interlace.
図9は、ビデオ・デコード・コントロール・デスクリプタの構造例(Syntax)を示している。また、図10は、その構造例における主要な情報の内容(Semantics)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示す。ここでは、ビデオ・デコード・コントロール・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。 FIG. 9 illustrates a structure example (Syntax) of the video decode control descriptor. FIG. 10 shows the content (Semantics) of the main information in the structural example. An 8-bit field of “descriptor_tag” indicates a descriptor type. Here, it indicates that it is a video decode control descriptor. The 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
「sequence_end_code_flag」の1ビットフィールドは、ストリームの最後に、“end_of_seq ”が符号化されていることを示すフラグである。“1”は、符号化されていることを示す。“0”は、符号化されていないことを示す。「video_encode_format」の4ビットフィールドは、切り替え後のサービス・ストリームのフォーマットを示す。例えば、“0000”は1080p(2K)を示し、“0111”は2160p(4K)を示し、“1000”は4320p(8K)を示す。 The 1-bit field of “sequence_end_code_flag” is a flag indicating that “end_of_seq” is encoded at the end of the stream. “1” indicates that encoding is performed. “0” indicates that it is not encoded. The 4-bit field of “video_encode_format” indicates the format of the service stream after switching. For example, “0000” indicates 1080p (2K), “0111” indicates 2160p (4K), and “1000” indicates 4320p (8K).
「frame_rate_type」の1ビットフィールドは、新規定義するフィールドであり、切り替え後のストリームのフレーム周波数の型を示し、“1”は従来からの、60Hz以下のフレームレートを、“0”は120Hz以上を構成することを示す。「stream_not_extended_flag」の1ビットフィールドは、新規定義するフィールドであり、切り替え後のストリームに拡張ストリームが存在しないことを示し、“1”は別PIDの拡張ストリームは存在しない、“0”は別PIDの拡張ストリームが多重化され、それと合わせて120pを構成することを示す。
The 1-bit field of “frame_rate_type” is a field to be newly defined, and indicates the type of the frame frequency of the stream after switching. “1” indicates the conventional frame rate of 60 Hz or less, and “0” indicates the frame rate of 120 Hz or more. Indicates configuration. The 1-bit field of “stream_not_extended_flag” is a field to be newly defined, and indicates that there is no extended stream in the stream after switching. “1” indicates that there is no extended stream of another PID, and “0” indicates that there is no extended stream. This indicates that the extension stream is multiplexed and together
図11は、マルチプレクサ104の構成を概略的に示している。マルチプレクサ104は、セクション情報(デスクリプタを含む)発生部141と、ヌルパケット発生部142と、セレクタ143と、PID割り当て部144と、TS多重化部145を有している。セレクタ143は、外部から入力される60Pサービスのビデオストリーム(基本ストリーム)、120Pサービスのビデオストリーム(基本ストリーム、拡張ストリーム)、さらにはその他のサービスのストリーム、さらにはセクション情報発生部141で発生されるセクション情報やヌルパケット発生部142で発生されるヌルパケットを入力し、いずれかを選択的に取り出す。
FIG. 11 schematically shows the configuration of the
PID割り当て部144は、セレクタ143で選択的に取り出された各信号、つまりビデオストリーム、セクション情報、ヌルパケット等にPIDを割り当てる。TS多重化部145は、各信号を多重化し、トランスポートストリームTSを得る。
The
[トランスポートストリームTSの構成]
図12は、60Pのサービスのビデオストリーム(基本ストリームのみ含む)を送信する場合におけるトランスポートストリームTSの構成例を示している。この構成例では、PID1で識別される基本ストリームのPESパケット「video PES1」が存在する。ここで、PID1は基本ストリームに固定のPIDである。
[Configuration of Transport Stream TS]
FIG. 12 illustrates a configuration example of the transport stream TS when transmitting a 60P service video stream (including only the basic stream). In this configuration example, there is a PES packet “video PES1” of the basic stream identified by PID1. Here, PID1 is a PID fixed to the basic stream.
各ピクチャの符号化画像データには、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。上述したように、NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_idを意味する“nuh_temporal_id_plus1”)が配置されている。SPSには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。 The coded image data of each picture has NAL units such as VPS, SPS, PPS, SLICE, and SEI. As described above, in the header of the NAL unit, the layer identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged. In the SPS, “general_level_idc” which is a level designation value of the bit stream is inserted.
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、基本ストリームに対応したビデオエレメンタリ・ループ(video ES1 loop)が存在する。 In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). The PSI is information describing which program each elementary stream included in the transport stream belongs to. The PMT has a program loop that describes information related to the entire program. Further, the PMT has an elementary loop having information related to each elementary stream. In this configuration example, there is a video elementary loop (video ES1 loop) corresponding to the basic stream.
このビデオエレメンタリ・ループ(video ES1 loop)には、基本ストリーム(video PES1)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。基本ストリームの「Stream_type」の値は「0x24」に設定され、PID情報は、上述したように基本ストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。 In the video elementary loop (video ES1 loop), information such as a stream type and a PID (packet identifier) is arranged in correspondence with the basic stream (video PES1), and information related to the video stream is stored. A descriptor to describe is also arranged. The value of “Stream_type” of the basic stream is set to “0x24”, and the PID information indicates PID1 given to the PES packet “video PES1” of the basic stream as described above.
また、ビデオエレメンタリ・ループ(video ES1 loop)に配置されるデスクリプタとして、上述したHEVCデスクリプタ(HEVC descriptor)やシームレス・スイッチ・デスクリプタ(Seamless_switch descriptor)が挿入される。なお、「frame_rate」のフィールドが新規定義されたビデオ・デコード・コントロール・デスクリプタ(Video_decode_control descriptor)用いられる場合は、シームレス・スイッチ・デスクリプタの挿入は不要となる。 In addition, the above-described HEVC descriptor (HEVC descriptor) and seamless switch descriptor (Seamless_switch descriptor) are inserted as descriptors arranged in the video elementary loop (video ES1 loop). When a newly defined video decode control descriptor (Video_decode_control descriptor) is used for the “frame_rate” field, it is not necessary to insert a seamless switch descriptor.
図示の例では、HEVCデスクリプタにおいて、「level_idc 」は“level5.1”に設定されている。また、「temporal_id_min = 0」、「temporal_id_max = 3」に設定されており、基本ストリームの階層範囲が0から3の階層であることが示されている。 In the illustrated example, “level_idc” is set to “level5.1” in the HEVC descriptor. Also, “temporal_id_min = 0” and “temporal_id_max = 3” are set, which indicates that the layer range of the basic stream is from 0 to 3.
なお、第1の態様では、PMTの配下には、基本ストリームに対応したビデオエレメンタリ・ループ(video ES1 loop)のみが存在するが、第2の態様では、破線図示する、拡張ストリームに対応したビデオエレメンタリ・ループ(video ES2 loop)も存在する。 In the first embodiment, only the video elementary loop (video ES1 loop) corresponding to the basic stream exists under the PMT. In the second embodiment, the video stream corresponds to the extension stream, which is indicated by a broken line. There is also a video elementary loop (video ES2 loop).
このビデオエレメンタリ・ループ(video ES2 loop)には、実際には存在しない拡張ストリーム(video PES2)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。拡張ストリームの「Stream_type」の値は「0x25」に設定され、PID情報は、拡張ストリームのPESパケット「video PES2」に付与されるPID2を示すものとされる。 In the video elementary loop (video ES2 loop), information such as a stream type and a PID (packet identifier) are arranged in correspondence with an extension stream (video PES2) that does not actually exist, and the video stream A descriptor that describes information related to is also arranged. The value of “Stream_type” of the extension stream is set to “0x25”, and the PID information indicates PID2 added to the PES packet “video PES2” of the extension stream.
また、ビデオエレメンタリ・ループに配置されるデスクリプタとして、上述したHEVCデスクリプタ(HEVC descriptor)やシームレス・スイッチ・デスクリプタ(Seamless_switch descriptor)が挿入される。なお、「frame_rate」のフィールドが新規定義されたビデオ・デコード・コントロール・デスクリプタ(Video_decode_control descriptor)用いられる場合は、シームレス・スイッチ・デスクリプタの挿入は不要となる。 In addition, the above-described HEVC descriptor (HEVC descriptor) and seamless switch descriptor (Seamless_switch descriptor) are inserted as descriptors arranged in the video elementary loop. When a newly defined video decode control descriptor (Video_decode_control descriptor) is used for the “frame_rate” field, it is not necessary to insert a seamless switch descriptor.
図示の例では、HEVCデスクリプタにおいて、「level_idc 」は“level5.2”に設定されている。また、「temporal_id_min = 5」、「temporal_id_max = 6」に設定されており、拡張ストリームが取り得る階層範囲が5,6の階層であることが示され、かつ実際には拡張ストリームが存在していないことが示される。 In the illustrated example, “level_idc” is set to “level5.2” in the HEVC descriptor. Also, “temporal_id_min = 5” and “temporal_id_max = 6” are set, which indicates that the range of layers that the extension stream can take is 5 or 6 layers, and that no extension stream actually exists. Is shown.
なお、60Pのサービスのビデオストリーム(基本ストリームのみ含む)を送信する場合におけるトランスポートストリームTSに含まれるPMTは、常には、図示の内容とされるが、次のサービスのビデオストリームの送信が開始される直前のタイミングでは、そのビデオストリームに対応した内容の新PMTに更新される。 The PMT included in the transport stream TS when transmitting the video stream of the 60P service (including only the basic stream) is always as shown in the figure, but the transmission of the video stream of the next service starts. At the timing immediately before the PMT is updated, the content is updated to a new PMT corresponding to the video stream.
図13は、120Pのサービスのビデオストリーム(基本ストリーム、拡張ストリームを含む)を送信する場合におけるトランスポートストリームTSの構成例を示している。この構成例では、PID1で識別される基本ストリームのPESパケット「video PES1」と、PID2で識別される拡張ストリームのPESパケット「video PES2」が存在する。ここで、「stream_id」が同じサービス(放送チャンネル)で、PID1は基本ストリームに固定のPIDであり、PID2は拡張ストリームに固定のPIDである。 FIG. 13 illustrates a configuration example of the transport stream TS when transmitting a video stream (including a basic stream and an extension stream) of a 120P service. In this configuration example, there are a PES packet “video PES1” of the basic stream identified by PID1, and a PES packet “video PES2” of the extension stream identified by PID2. Here, “stream_id” is the same service (broadcast channel), PID1 is a PID fixed to the basic stream, and PID2 is a PID fixed to the extension stream.
基本ストリームの各ピクチャの符号化画像データには、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_idを意味する“nuh_temporal_id_plus1”)が配置されている。SPSには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、SPSには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ(sub_layer)として括られ、“sublayer_level_presented_flag”が“1”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。 NAL units such as VPS, SPS, PPS, SLICE, and SEI exist in the coded image data of each picture of the basic stream. In the header of the NAL unit, hierarchical identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged. In the SPS, “general_level_idc” which is a level designation value of the bit stream is inserted. In the SPS, pictures belonging to each layer indicated by “temporal_id” are grouped as sublayers (sub_layers), and “sublayer_level_presented_flag” is set to “1”, which is the level designation value of the bit rate for each sublayer. “Sublayer_level_idc” is inserted.
一方、拡張ストリームの各ピクチャの符号化画像データには、PPS、SLICEなどのNALユニットが存在する。NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_idを意味する“nuh_temporal_id_plus1”)が配置されている。 On the other hand, the coded image data of each picture of the extension stream has NAL units such as PPS and SLICE. In the header of the NAL unit, hierarchical identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged.
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。 In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、2つのビデオエレメンタリ・ループ(video ES1 loop, video ES2 loop )が存在する。 The PMT has a program loop that describes information related to the entire program. Further, the PMT has an elementary loop having information related to each elementary stream. In this configuration example, there are two video elementary loops (video ES1 loop, video ES2 loop).
各ビデオエレメンタリ・ループには、ビデオストリーム(video PES1, video PES2)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。ビデオエレメンタリ・ループ(video ES1 loop)に関しては、詳細説明は省略するが、図12におけるTS構成と同様である。 In each video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1 and video PES2), and information related to the video stream is described. Descriptors are also arranged. The detailed description of the video elementary loop (video ES1 loop) is omitted, but is the same as the TS configuration in FIG.
ビデオエレメンタリ・ループ(video ES2 loop)には、拡張ストリーム(video PES2)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。拡張ストリームの「Stream_type」の値は「0x25」に設定され、PID情報は、拡張ストリームのPESパケット「video PES2」に付与されるPID2を示すものとされる。 In the video elementary loop (video ES2 loop), information such as a stream type and a PID (packet identifier) is arranged corresponding to the extension stream (video PES2), and information related to the video stream is described. Descriptors are also arranged. The value of “Stream_type” of the extension stream is set to “0x25”, and the PID information indicates PID2 added to the PES packet “video PES2” of the extension stream.
また、ビデオエレメンタリ・ループに配置されるデスクリプタとして、上述したHEVCデスクリプタ(HEVC descriptor)やシームレス・スイッチ・デスクリプタ(Seamless_switch descriptor)が挿入される。なお、「frame_rate」のフィールドが新規定義されたビデオ・デコード・コントロール・デスクリプタ(Video_decode_control descriptor)用いられる場合は、シームレス・スイッチ・デスクリプタの挿入は不要となる。図示の例では、HEVCデスクリプタにおいて、「level_idc 」は“level5.2”に設定されている。また、「temporal_id_min = 5」、「temporal_id_max = 5」に設定されており、拡張ストリームに含まれるピクチャの階層が5であることが示されている。 In addition, the above-described HEVC descriptor (HEVC descriptor) and seamless switch descriptor (Seamless_switch descriptor) are inserted as descriptors arranged in the video elementary loop. When a newly defined video decode control descriptor (Video_decode_control descriptor) is used for the “frame_rate” field, it is not necessary to insert a seamless switch descriptor. In the illustrated example, “level_idc” is set to “level5.2” in the HEVC descriptor. Also, “temporal_id_min = 5” and “temporal_id_max = 5” are set, which indicates that the number of layers of pictures included in the extension stream is 5.
なお、120Pのサービスのビデオストリーム(基本ストリームのみ含む)を送信する場合におけるトランスポートストリームTSに含まれるPMTは、常には、図示の内容とされるが、次のサービスのビデオストリームの送信が開始される直前のタイミングでは、そのビデオストリームに対応した内容の新PMTに更新される。 Note that the PMT included in the transport stream TS when transmitting a video stream of the 120P service (including only the basic stream) always has the contents shown in the figure, but transmission of the video stream of the next service starts. At the timing immediately before the PMT is updated, the content is updated to a new PMT corresponding to the video stream.
図5に示す送信装置100の動作を簡単に説明する。エンコーダ102Aには、フレーム周波数が60Hzの非圧縮の動画像データVDAが入力される。このエンコーダ102Aでは、この動画像データVDAに対して、例えば、H.264/AVC、H.265/HEVCなどの符号化が行われる。この際、エンコーダ102Aでは、この動画像データVDAを構成する各ピクチャの画像データが複数の階層に分類され、この分類された各階層のピクチャの画像データが符号化され、各階層のピクチャの符号化画像データを持つ60Pのサービスに係るビデオストリームが生成される。
The operation of the transmitting
このビデオストリームには、基本ストリームのみが含まれる。つまり、エンコーダ102Aでは、階層符号化されて得られる全ての階層のピクチャの符号化画像データを持つ基本ストリームが生成される。なお、この基本ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化される。エンコーダ102Aで生成された、各階層のピクチャの符号化データを含むビデオストリーム(基本ストリーム)は、圧縮データバッファ(cpb)103Aに供給され、一時的に蓄積される。
This video stream includes only the basic stream. That is, the
また、エンコーダ102Bには、フレーム周波数が120Hzの非圧縮の動画像データVDBが入力される。このエンコーダ102Bでは、例えば、H.264/AVC、H.265/HEVCなどの符号化が行われる。この際、エンコーダ102Bでは、この動画像データVDBを構成する各ピクチャの画像データが複数の階層に分類され、この分類された各階層のピクチャの画像データが符号化され、各階層のピクチャの符号化画像データを持つ120Pのサービスに係るビデオストリームが生成される。
Further, uncompressed moving image data VDB having a frame frequency of 120 Hz is input to the
このビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。つまり、エンコーダ102Bでは、複数の階層が二分され、低階層側のピクチャの符号化画像データを持つ基本ストリームと、高階層側のピクチャの符号化画像データを持つ拡張ストリームが生成される。なお、この基本ストリームおよび拡張ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化され、かつ拡張ストリームに含めるピクチャの階層が一つとなるように符号化される。エンコーダ102Bで生成された、各階層のピクチャの符号化データを含むビデオストリーム(基本ストリーム、拡張ストリーム)は、圧縮データバッファ(cpb)103Bに供給され、一時的に蓄積される。
This video stream includes a basic stream and an extension stream. That is, the
マルチプレクサ104では、60Pのサービスを行う場合、圧縮データバッファ103Aに蓄積されているビデオストリームが読み出され、PESパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームTSが得られる。このトランスポートストリームTSには、基本ストリームのみが含まれる。マルチプレクサ104では、この基本ストリームに固定のPID(=PID_1)が付与される。
In the case of performing the 60P service, the
また、マルチプレクサ104では、120Pのサービスを行う場合、圧縮データバッファ103Bに蓄積されているビデオストリームが読み出され、PESパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームTSが得られる。このトランスポートストリームTSには、基本ストリームおよび拡張ストリームが含まれる。マルチプレクサ104では、基本ストリームに固定のPID(=PID_1)が付与されると共に、拡張ストリームに固定のPID(=PID_2)が付与される。
In the case of performing the 120P service, the
また、マルチプレクサ104では、各サービスのビデオストリームの送信期間において、プログラムマップテーブル(PMT)の配下に、PID情報が挿入される。ここで、第1のPID情報挿入態様では、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのPID情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのPID情報が挿入される。また、第2のPID情報挿入態様では、各サービスのビデオストリームの送信期間おいて、基本ストリームおよび拡張ストリームの両方のPID情報が挿入される。
In the
また、マルチプレクサ104では、各サービスのビデオストリームの送信期間において、プログラムマップテーブル(PMT)の配下に、階層範囲情報が挿入される。この場合、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入される。
In the
ここで、マルチプレクサ104では、基本ストリームのみで構成されるビデオストリームの送信期間において、第1の態様では基本ストリームの階層範囲情報のみ挿入され、第2の態様では基本ストリームの階層範囲情報と共に、拡張ストリームが取り得る階層範囲の情報も挿入すされる。拡張ストリームに含めるピクチャの階層は一つとされるが、この拡張ストリームが取り得る階層範囲の情報は、例えば複数の階層を含むものとされる。
Here, in the
また、マルチプレクサ140では、各サービスのビデオストリームの送信期間において、少なくとも、次のサービスのビデオストリームの送信期間が開始される直前のタイミングで、プログラムマップテーブル(PMT)の配下に、切り替え情報が挿入される。この切り替え情報の挿入には、新規定義するシームレス・スイッチ・デスクリプタ(Seamless_switch descriptor)、あるいは既存のビデオ・デコード・コントロール・デスクリプタ(Video_decode_control descriptor)が用いられる。 In the multiplexer 140, the switching information is inserted under the program map table (PMT) at least at the timing immediately before the transmission period of the video stream of the next service starts in the transmission period of the video stream of each service. Is done. To insert the switching information, a newly defined seamless switch descriptor (Seamless_switch descriptor) or an existing video decode control descriptor (Video_decode_control descriptor) is used.
送信部105では、マルチプレクサ104で得られたトランスポートストリームTSが、放送波あるいはネットのパケットに載せて、受信装置200に送信される。この場合、例えば、60Pのサービスに係るトランスポートストリームTSが送信され、続いて120Pのサービスに係るトランスポートストリームTSが送信される。あるいは、120Pのサービスに係るトランスポートストリームTSが送信され、続いて60Pのサービスに係るトランスポートストリームTSが送信される。
In the transmitting
なお、上述では、エンコーダ102Aが60Pのサービスに係るビデオストリーム(基本ストリーム)を生成し、エンコーダ102Bが120Pのサービスに係るビデオストリーム(基本ストリーム、拡張ストリーム)を生成し、マルチプレクサ104でこれらを切り替える旨の説明をした。しかし、これと同じ効果を、エンコーダ102Bに持たせることも可能である。この場合、エンコーダ102Bは、フレーム周波数が120Hzの非圧縮の動画像データVDBを入力し、60Pのサービスに係るビデオストリーム(基本ストリーム)の出力と、120Pのサービスに係るビデオストリーム(基本ストリーム、拡張ストリーム)の出力とを、切り替えて出力する機能を持つ。
In the above description, the
「受信装置の構成」
図14は、受信装置200の構成例を示している。この受信装置200は、CPU(Central Processing Unit)201と、受信部202と、デマルチプレクサ203と、圧縮データバッファ(cpb:coded picture buffer)204を有している。また、この受信装置200は、デコーダ205と、非圧縮データバッファ(dpb:decoded picture buffer)206と、ポスト処理部207と、表示部208を有している。CPU201は、制御部を構成し、受信装置200の各部の動作を制御する。
"Receiver configuration"
FIG. 14 illustrates a configuration example of the receiving
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。デマルチプレクサ203は、トランスポートストリームTSから、それに含まれるビデオストリームを構成するストリームをPIDフィルタでフィルタリングして取り出し、圧縮データバッファ(cpb:coded picture buffer)204に送る。
The receiving
この場合、基本ストリームや拡張ストリームにはそれぞれ固定のPIDが付与されている。そのため、例えば、60pサービスから120pサービスに、あるいはその逆にサービスの切り替えがあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。 In this case, a fixed PID is assigned to each of the basic stream and the extension stream. Therefore, for example, even if the service is switched from the 60p service to the 120p service or vice versa, it is not necessary to change the setting of the filter for extracting each stream. Display becomes possible.
図15は、デマルチプレクサ203の構成例を示している。このデマルチプレクサ203は、PIDフィルタ231と、多重化バッファ232_0〜232_n,232_null,232_cと、セクションフィルタ233と、PMT解析部234を有している。
FIG. 15 shows a configuration example of the
PIDフィルタ231は、PIDに基づいて、トランスポートストリームTSに含まれるセクションデータ、ヌルパケットを通過させる。図示の例では、セクションデータのPID値をPID_cとし、ヌルパケットのPIDをPID_nullとしている。ヌルパケットは独自のPID値を持たなく、ビデオのPIDのストリームの中に挿入されるように伝送されてもよい。これにより、受信機の多重化バッファでヌルパケットを検知して切り替えが起こることの判定に利用することが可能となる。また、PIDフィルタ231は、トランスポートストリームTSに含まれる、放送サービスチャネルに相当するプログラムナンバー(program number)に対応したTSパケットを、セットされるPID値に基づいて通過させる。図示の例では、セット可能なTSパケットのPID値を、PID_0〜PID_nとしている。
The
多重化バッファ232_0〜232_n,232_null,232_cは、PIDフィルタ231を通過したTSパケット、セクションデータ、ヌルパケットをそれぞれ一時的に蓄積する。つまり、デマルチプレクサ203では、多重化バッファがPID値別に管理されている。セクションフィルタ233は、多重化バッファ232_cに蓄積されたセクションデータから、PID値に基づいて、プログラムマップテーブル(PMT)を抽出する。
The multiplexing buffers 232_0 to 232_n, 232_null, and 232_c temporarily store TS packets, section data, and null packets that have passed through the
PMT解析部234は、セクションフィルタ233で抽出されたPMTを解析し、その解析結果に基づいて、PIDフィルタ231に、通過させるTSパケットのPID値をセットする。例えば、トランスポートストリームTSが60Pのサービスである場合、例えば、PID_0として、基本ストリームに付与されている固定のPID値である「101」がセットされる。また、例えば、トランスポートストリームTSが120Pのサービスである場合、例えば、PID_0として基本ストリームに付与されている固定のPID値である「101」がセットされると共に、PID_1として拡張ストリームに付与されている固定のPID値である「102」がセットされる。
The PMT analysis unit 234 analyzes the PMT extracted by the
デマルチプレクサ203は、デコーダ205のデコード能力に応じて、多重化バッファ232_0〜232_nにPID値別に蓄積されたTSパケットを、圧縮データバッファ204に転送する。例えば、デコーダ205が60pデコーダである場合、多重化バッファ232_0に蓄積された基本ストリームに係るTSパケットを、圧縮データバッファ204に転送する。また、例えば、デコーダ205が120pデコーダである場合、多重化バッファ232_0に蓄積される基本ストリームに係るTSパケットと、多重化バッファ232_1に蓄積される拡張ストリームに係るTSパケットを、圧縮データバッファ204に転送する。
The
なお、上述では、例えば、トランスポートストリームTSが120Pのサービスである場合、PIDフィルタ231がPID_0,PID_1のTSパケットを通過させるものとしたが、デコーダ205が60pデコーダであるときには、PIDフィルタ231がPID_0のTSパケットのみを通過させる方法も可能である。
In the above description, for example, when the transport stream TS is a service of 120P, the
図14に戻って、圧縮データバッファ(cpb)204は、デマルチプレクサ203から転送されるTSパケット、従って各ピクチャの符号化画像データを、一時的に蓄積する。デコーダ205は、圧縮データバッファ204に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのDTS(Decoding Time stamp)で与えられるデコードタイミングで読み出してデコードし、非圧縮データバッファ(dpb)206に送る。
Returning to FIG. 14, the compressed data buffer (cpb) 204 temporarily stores the TS packet transferred from the
非圧縮データバッファ(dpb)206は、デコーダ205でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部207は、非圧縮データバッファ(dpb)206からPTS(Presentation Time stamp)で与えられる表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。
The uncompressed data buffer (dpb) 206 temporarily stores the image data of each picture decoded by the
例えば、デコード後の各ピクチャの画像データのフレームレートが60fpsであって、表示能力が120fpsであるとき、ポスト処理部207は、デコード後の各ピクチャの画像データに対して時間方向解像度が2倍となるように補間処理を施し、120fpsの画像データとして表示部208に送る。
For example, when the frame rate of the decoded image data of each picture is 60 fps and the display capability is 120 fps, the
表示部208は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。なお、この表示部208は、受信装置200に接続される外部機器であってもよい。
The
図14に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、デマルチプレクサ203に送られる。デマルチプレクサ203では、トランスポートストリームTSから、PMTに含まれるPID情報に基づいて、サービスに対応したTSパケットが取り出される。このTSパケットは、圧縮データバッファ(cpb)204に送られ、一時的に蓄積される。
The operation of the receiving
例えば、トランスポートストリームTSが60pのサービスである場合、基本ストリームに係るTSパケットが取り出されて圧縮データバッファ204に転送される。また、例えば、トランスポートストリームTSが120pのサービスである場合、デコーダ205が60pデコーダであるときには、基本ストリームに係るTSパケットが取り出されて圧縮データバッファ204に転送され、デコーダ205が120pデコーダであるときには、基本ストリームおよび拡張ストリームの双方に係るTSパケットが取り出されて圧縮データバッファ204に転送される。
For example, when the transport stream TS is a service of 60p, a TS packet related to the basic stream is extracted and transferred to the
デコーダ205では、圧縮データバッファ204に蓄積されている各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ(dpb)206に送られ、一時的に蓄積される。そして、非圧縮データバッファ(dpb)206から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部207に送られる。ポスト処理部207では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部207で処理された各ピクチャの画像データは、表示部208に供給され、動画像の表示が行われる。
In the
次に、図1に示す送受信システム10において、4K 60p番組から4K 120p番組への切り替え動作について説明する。図16は、送信側、つまり送信装置100の動作例を示している。60pサービス送信期間では、エンコーダ102Aで60pサービスに係るビデオストリームが生成される。このビデオストリームには、PID値として例えば「101」が付与される基本ストリームのみが含まれている。
Next, an operation of switching from the
そして、この60pサービス送信期間では、マルチプレクサ104において、この基本ストリームがPESパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームTSが得られ、4K 60p番組の送信ストリームとなる。
In the 60p service transmission period, the
この60pサービス送信期間では、コンテナのレイヤに、常には、図示では「旧PMT」で示すPMTが挿入されて送信される。このPMTには、「Service_id」、「Version number」の情報が含まれる他、基本ストリームに対応した「Elementary_PID」、「Stream_type」の情報が含まれる。 In the 60p service transmission period, a PMT indicated by “old PMT” is always inserted in the container layer and transmitted. The PMT includes information of “Service_id” and “Version number”, and also includes information of “Elementary_PID” and “Stream_type” corresponding to the basic stream.
また、この60pサービス送信期間において、120pサービス送信期間が開始される直前のタイミング、例えば60pサービス送信期間の終了から1秒前のタイミングで、コンテナのレイヤに、図示では「新PMT」で示すPMTが挿入されて送信される。このPMTには「旧PMT」と同様に、「Service_id」、「Version number」の情報が含まれる。「Version number」は、“V0”から“V0+1”に変更され、「新PMT」に変更されたことが示される。 In the 60p service transmission period, at the timing immediately before the start of the 120p service transmission period, for example, one second before the end of the 60p service transmission period, the PMT indicated by “New PMT” in the drawing is added to the container layer. Is inserted and transmitted. This PMT includes information of “Service_id” and “Version number” as in “old PMT”. “Version number” is changed from “V0” to “V0 + 1”, indicating that it has been changed to “new PMT”.
また、このPMTには、基本ストリームに対応した「Elementary_PID」、「Stream_type」の情報が含まれると共に、拡張ストリームに対応した「Elementary_PID」、「Stream_type」の情報も含まれる。さらに、このPMTには、切り替え情報が記述されたシームレス・スイッチ・デスクリプタ(Seamless_switch descriptor)が含まれる。 The PMT includes “Elementary_PID” and “Stream_type” information corresponding to the basic stream, and also includes “Elementary_PID” and “Stream_type” information corresponding to the extension stream. Further, the PMT includes a Seamless_switch descriptor in which switching information is described.
ここでは、「EOS_flag = 1」とされ、“end_of_seq ”が符号化されていることが示されている。また、「number_of_streams = 2」とされ、切り替え後のサービス・ストリームの数が2であることが示される。また、「frame_rate = 1100(120Hz)」とされ、切り替え後のサービス・ストリームのフレーム周波数が120Hzであることが示される。 Here, “EOS_flag = 1” is set, indicating that “end_of_seq” is encoded. Also, “number_of_streams = 2” is set, indicating that the number of service streams after switching is two. Also, “frame_rate = 1100 (120 Hz)” is set, indicating that the frame frequency of the switched service stream is 120 Hz.
60pサービス送信期間が終了すると、120pのサービス送信期間に切り替わる。120pサービス送信期間では、エンコーダ102Bで120pサービスに係るビデオストリームが生成される。このビデオストリームには、PID値として例えば「101」が付与される基本ストリームと、PID値として例えば「102」が付与される拡張ストリームが含まれている。
When the 60p service transmission period ends, the service is switched to the 120p service transmission period. In the 120p service transmission period, the
そして、この120pサービス送信期間では、マルチプレクサ104において、この基本ストリームおよび拡張ストリームがPESパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームTSが得られ、4K 120p番組の送信ストリームとなる。なお、4K 60p番組の送信ストリームと4K 120p番組の送信ストリームとの間にはヌルパケットが送信されるギャップ期間が設けられる。
Then, in the 120p service transmission period, the basic stream and the extension stream are PES-packetized in the
図17は、受信側、つまり受信装置200の動作例を示している。60pサービス送信期間では、デマルチプレクサ203から、4K 60番組のビデオストリームが出力される。そして、デコーダ205からは、60pデコーダであっても、120pデコーダであっても、4K 60番組の画像データが出力される。
FIG. 17 illustrates an operation example of the receiving side, that is, the receiving
この60pサービス送信期間では、コンテナのレイヤから、常には、「旧PMT」で示すPMTが取得され、120pサービス送信期間が開始される直前のタイミングで、「新PMT」が取得される。この「新PMT」に含まれる拡張ストリームのPID値がPIDフィルタにセットされることで、デマルチプレクサ203は、4K 120番組のビデオストリームを出力し得る状態となる。
In the 60p service transmission period, the PMT indicated by “old PMT” is always obtained from the container layer, and the “new PMT” is obtained immediately before the start of the 120p service transmission period. By setting the PID value of the extension stream included in the “new PMT” in the PID filter, the
60pサービス送信期間が終了すると、120pのサービス送信期間に切り替わる。この場合、デマルチプレクサ203の出力は、ヌルパケットが含まれるギャップ期間を経て、4K 60p番組のビデオストリーム(基本ストリームのみ)から4K 120p番組のビデオストリーム(基本ストリームと拡張ストリーム)に変わる。そして、デコーダ205からは、60pデコーダである場合には、4K 60番組の画像データが出力され、120pデコーダである場合には、4K 120番組の画像データが出力される。
When the 60p service transmission period ends, the service is switched to the 120p service transmission period. In this case, the output of the
60pサービス送信期間から120pサービス送信期間への切り替わりにおけるデマルチプレクサ203の動作についてさらに説明する。60pサービス送信期間では、PID_0(101)のストリーム(基本ストリーム)のみがPIDフィルタ231を通過して、多重化バッファ232_0に蓄積される。
The operation of the
この60pサービス送信期間が終了する1秒前に、セクションフィルタ233では「新PMT」が抽出される。この「新PMT」がPMT解析部234で解析され、PIDフィルタ231を通過させるべきストリームのPID値、さらには「Stream_type」、「Descriptor」が検知され、PIDフィルタ231へのPID値のセットが行われる。これにより、PIDフィルタ231は、続く120pサービス送信期間において、PID_0(101)のストリーム(基本ストリーム)と共に、PID_1(102)のストリーム(拡張ストリーム)を通過させることが可能となる。
One second before the end of the 60p service transmission period, the
120pサービス送信期間への切り替わり後、PID_0(101)のストリーム(基本ストリーム)がPIDフィルタ231を通過して多重化バッファ232_0に蓄積されると共に、PID_0(102)のストリーム(拡張ストリーム)がPIDフィルタ231を通過して多重化バッファ232_1に蓄積される。なお、「新PMT」のシームレス・スイッチ・デスクリプタの「EOS_flag」が“1”である場合、ビデオストリームのEOSが判別された時点でビデオフォーマットとサービス・ストリームの数に関しての切り替えが起こることが、判別される。
After the switch to the 120p service transmission period, the stream (basic stream) of PID_0 (101) passes through the
なお、上述の図16、図17に示す動作例では、120pサービス送信期間が開始される直前のタイミング、例えば60pサービス送信期間の終了から1秒前のタイミングでコンテナのレイヤに挿入される「新PMT」で拡張ストリームのPID値を通知する例を示した(第1のPID挿入形態)。しかし、60pサービス送信期間で常にコンテナのレイヤに挿入される「旧PMT」に、拡張ストリームのPID値を含め、拡張ストリームのPID値を予約することも可能である(第2のPID挿入形態)。図18、図19は、その場合における、送信側、受信側の動作例を示している。 In the operation examples shown in FIGS. 16 and 17 described above, the “new” is inserted into the container layer at the timing immediately before the start of the 120p service transmission period, for example, one second before the end of the 60p service transmission period. An example of notifying the PID value of the extension stream by “PMT” has been described (first PID insertion mode). However, it is also possible to reserve the PID value of the extension stream, including the PID value of the extension stream, in the “old PMT” that is always inserted in the container layer during the 60p service transmission period (second PID insertion form). . FIG. 18 and FIG. 19 show operation examples on the transmission side and the reception side in that case.
次に、図1に示す送受信システム10において、サービスの切り替え動作に伴う階層符号化構造の変化について説明する。図20は、サービスの切り替え動作に伴う階層符号化構造の変化の一例を示している。この例では、0〜3の階層が基本ストリームに割り当てられており、4,5の階層が拡張ストリームに割り当てられている例である。
Next, in the transmission /
この例では、60pサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、0〜3の階層のピクチャが存在している。60pサービスのビデオストリームには、基本ストリームのみが含まれる。この基本ストリームに、0から3の全ての階層のピクチャが含まれる。この場合、基本ストリームのSPSおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。
In this example, the video stream of the 60p service includes coded image data of each hierarchically coded picture. In this case, there are pictures of
また、この例では、120pサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、0〜4の階層のピクチャが存在している。120pサービスのビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。基本ストリームに0から3の階層のピクチャが含まれ、拡張ストリームに4の階層のピクチャが含まれる。この場合、基本ストリームのSPS(Sequence Prameter Set)おいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1 = 4」に設定される。
In this example, the video stream of the 120p service includes coded image data of each hierarchically coded picture. In this case, there are pictures in the 0-4 hierarchy. The video stream of the 120p service includes a basic stream and an extension stream. The basic stream includes pictures of
60pサービス送信期間が開始される直前のタイミングで、コンテナのレイヤに、その60pサービスのビデオストリームの情報を持つPMTが挿入される。このPMTに含まれるHEVCデスクリプタ(HEVC descriptor)において、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。 At a timing immediately before the start of the 60p service transmission period, the PMT having the information of the video stream of the 60p service is inserted into the layer of the container. In the HEVC descriptor (HEVC descriptor) included in the PMT, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 3”.
同様に、60pサービス送信期間において、120pサービスが開始される直前のタイミングで、コンテナのレイヤに、その120pサービスのビデオストリームの情報を持つPMTが挿入される。このPMTに含まれる基本ストリームに係るHEVCデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。また、このPMTに含まれる拡張ストリームに係るHEVCデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 4」、「temporal_id_max = 4」に設定される。 Similarly, at the timing immediately before the start of the 120p service in the 60p service transmission period, the PMT having the information of the video stream of the 120p service is inserted into the container layer. In the HEVC descriptor relating to the basic stream included in the PMT, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 3”. In the HEVC descriptor relating to the extension stream included in the PMT, “level_idc” is set to “level5.2”, and further, “temporal_id_min = 4” and “temporal_id_max = 4”.
この場合、120pサービスのビデオストリームの情報を持つPMTの挿入時点から60pサービス送信期間が終了する期間Tでは、ビデオレイヤの情報が60pサービスのビデオストリームの情報であるのに対して、システムレイヤの情報は120pサービスのビデオストリームの情報となる。しかし、この例では、ビデオの“temporal_id”の値と、HEVCデスクリプタの“temporal_id”の値の範囲は整合する。これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、階層符号化が行われているからである。 In this case, in a period T in which the 60p service transmission period ends from the point of insertion of the PMT having the video stream information of the 120p service, the information of the video layer is the information of the video stream of the 60p service, while the information of the video layer is information of the system layer. The information is information of the video stream of the 120p service. However, in this example, the range of the value of “temporal_id” of the video matches the range of the value of “temporal_id” of the HEVC descriptor. This is because layer encoding is performed so that the video stream of each service falls within a mutually independent range in which the layers of pictures to be respectively included in the basic stream and the extension stream are assigned in advance.
図21は、サービスの切り替え動作に伴う階層符号化構造の変化の他の一例を示している。この例では、0〜3の階層が基本ストリームに割り当てられており、5,6の階層が拡張ストリームに割り当てられている例である。 FIG. 21 shows another example of a change in the hierarchical coding structure accompanying a service switching operation. In this example, layers 0 to 3 are allocated to the basic stream, and layers 5 and 6 are allocated to the extension stream.
この例では、60pサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、0〜3の階層のピクチャが存在している。60pサービスのビデオストリームには、基本ストリームのみが含まれる。この基本ストリームに、0から3の全ての階層のピクチャが含まれる。この場合、基本ストリームのSPSおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。
In this example, the video stream of the 60p service includes coded image data of each hierarchically coded picture. In this case, there are pictures of
また、この例では、120pサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、0〜2,5の階層のピクチャが存在している。120pサービスのビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。基本ストリームに0から2の階層のピクチャが含まれ、拡張ストリームに5の階層のピクチャが含まれる。この場合、基本ストリームのSPS(Sequence Prameter Set)おいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1 = 5」に設定される。
In this example, the video stream of the 120p service includes coded image data of each hierarchically coded picture. In this case, there are pictures of
60pサービス送信期間が開始される直前のタイミングで、コンテナのレイヤに、その60pサービスのビデオストリームの情報を持つPMTが挿入される。このPMTには、基本ストリームおよび拡張ストリームの情報が存在する。基本ストリームに係るHEVCデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。 At a timing immediately before the start of the 60p service transmission period, the PMT having the information of the video stream of the 60p service is inserted into the layer of the container. The PMT has information on the basic stream and the extension stream. In the HEVC descriptor relating to the basic stream, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 3”.
また、拡張ストリームに係るHEVCデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 5」、「temporal_id_max = 6」に設定される。この設定により、拡張ストリームが取り得る階層範囲が5,6の階層であることが示され、かつ実際には拡張ストリームが存在していないことが示される。なお、図20に示すと同様に、このPMTに、基本ストリームの情報ななくともよい。 In the HEVC descriptor related to the extension stream, “level_idc” is set to “level5.2”, and further, “temporal_id_min = 5” and “temporal_id_max = 6”. This setting indicates that the range of layers that the extension stream can take is the fifth and sixth layers, and that no extension stream actually exists. As shown in FIG. 20, the PMT does not have to include the information of the basic stream.
また、60pサービス送信期間において、120pサービスが開始される直前のタイミングで、コンテナのレイヤに、その120pサービスのビデオストリームの情報を持つPMTが挿入される。このPMTに含まれる基本ストリームに係るHEVCデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。また、このPMTに含まれる拡張ストリームに係るHEVCデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 5」、「temporal_id_max = 5」に設定される。 In the 60p service transmission period, at the timing immediately before the 120p service is started, a PMT having the information of the video stream of the 120p service is inserted into the container layer. In the HEVC descriptor relating to the basic stream included in the PMT, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 3”. In the HEVC descriptor related to the extension stream included in the PMT, “level_idc” is set to “level5.2”, and further, “temporal_id_min = 5” and “temporal_id_max = 5”.
この場合、120pサービスのビデオストリームの情報を持つPMTの挿入時点から60pサービス送信期間が終了する期間Tでは、ビデオレイヤの情報が60pサービスのビデオストリームの情報であるのに対して、システムレイヤの情報は120pサービスのビデオストリームの情報となる。しかし、この例では、ビデオの“temporal_id”の値と、HEVCデスクリプタの“temporal_id”の値の範囲は整合する。これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、階層符号化が行われているからである。 In this case, in a period T in which the 60p service transmission period ends from the insertion point of the PMT having the information of the video stream of the 120p service, the information of the video layer is the information of the video stream of the 60p service, whereas the information of the video layer is the information of the video layer of the system layer. The information is information of the video stream of the 120p service. However, in this example, the range of the value of “temporal_id” of the video matches the range of the value of “temporal_id” of the HEVC descriptor. This is because layer encoding is performed so that the video stream of each service falls within a mutually independent range in which the layers of pictures included in the basic stream and the extension stream are assigned in advance.
図22は、サービスの切り替え動作に伴う階層符号化構造の変化の一例を示している。この例は、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられていない例である。 FIG. 22 shows an example of a change in the hierarchical coding structure accompanying a service switching operation. In this example, the layers of the pictures included in the basic stream and the extension stream are not allocated in advance.
この例では、60pサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、0〜3の階層のピクチャが存在している。60pサービスのビデオストリームには、基本ストリームのみが含まれる。この基本ストリームに、0から3の全ての階層のピクチャが含まれる。この場合、基本ストリームのSPSおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。
In this example, the video stream of the 60p service includes coded image data of each hierarchically coded picture. In this case, there are pictures of
また、この例では、120pサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、0〜3の階層のピクチャが存在している。120pサービスのビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。基本ストリームに0から2の階層のピクチャが含まれ、拡張ストリームに3の階層のピクチャが含まれる。この場合、基本ストリームのSPS(Sequence Prameter Set)おいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。
In this example, the video stream of the 120p service includes coded image data of each hierarchically coded picture. In this case, there are pictures of
60pサービス送信期間が開始される直前のタイミングで、コンテナのレイヤに、その60pサービスのビデオストリームの情報を持つPMTが挿入される。このPMTに含まれるHEVCデスクリプタ(HEVC descriptor)において、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。 At a timing immediately before the start of the 60p service transmission period, the PMT having the information of the video stream of the 60p service is inserted into the layer of the container. In the HEVC descriptor (HEVC descriptor) included in the PMT, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 3”.
同様に、60pサービス送信期間において、120pサービスが開始される直前のタイミングで、コンテナのレイヤに、その120pサービスのビデオストリームの情報を持つPMTが挿入される。このPMTに含まれる基本ストリームに係るHEVCデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 2」に設定される。また、このPMTに含まれる拡張ストリームに係るHEVCデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 3」、「temporal_id_max = 3」に設定される。 Similarly, at the timing immediately before the start of the 120p service in the 60p service transmission period, the PMT having the information of the video stream of the 120p service is inserted into the container layer. In the HEVC descriptor relating to the basic stream included in the PMT, “level_idc” is set to “level5.1”, and further, “temporal_id_min = 0” and “temporal_id_max = 2”. In the HEVC descriptor related to the extension stream included in the PMT, “level_idc” is set to “level5.2”, and further, “temporal_id_min = 3” and “temporal_id_max = 3”.
この場合、120pサービスのビデオストリームの情報を持つPMTの挿入時点から60pサービス送信期間が終了する期間Tでは、ビデオレイヤの情報が60pサービスのビデオストリームの情報であるのに対して、システムレイヤの情報は120pサービスのビデオストリームの情報となる。そして、この例では、ビデオの“temporal_id”の値と、HEVCデスクリプタの“temporal_id”の値の範囲は整合しなくなる。これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、階層符号化が行われていず、temporal_ID = 3のレイヤが、基本ストリームに存在したり、拡張ストリームに存在したり、と変動するからである。 In this case, in a period T in which the 60p service transmission period ends from the point of insertion of the PMT having the video stream information of the 120p service, the information of the video layer is the information of the video stream of the 60p service, while the information of the video layer is information of the system layer. The information is information of the video stream of the 120p service. Then, in this example, the range of the value of “temporal_id” of the video does not match the range of the value of “temporal_id” of the HEVC descriptor. This is because hierarchical coding is not performed so that the video stream of each service falls within a mutually independent range in which the layers of the pictures to be included in the basic stream and the extension stream are allocated in advance, and the layer of temporal_ID = 3 is used. This is because it varies in the basic stream or in the extension stream.
以上説明したように、図1に示す送受信システム10において、送信装置100では、基本ストリーム、拡張ストリームに固定の識別子(PID)が付与されるものである。そのたえめ、受信側では、60pサービスから120pに、あるいは120pサービスから60pサービスに切り替わる場合にあっても、デマルチプレクサ203で各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。
As described above, in the transmission /
また、図1に示す送受信システム10において、これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、各サービスのビデオストリームの階層符号化が行われるものである。そのため、ビデオの“temporal_id”の値と、HEVCデスクリプタの“temporal_id”の値の範囲が不整合となることを回避できる。
Further, in the transmission /
<2.変形例>
なお、上述実施の形態においては、送信装置100と受信装置200からなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、例えば、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「HDMI」は、登録商標である。
<2. Modification>
Although the transmission and
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。 In the above-described embodiment, an example has been described in which the container is a transport stream (MPEG-2 TS). However, the present technology can be similarly applied to a system configured to be distributed to a receiving terminal using a network such as the Internet. In the case of distribution on the Internet, it is often distributed in MP4 or other format containers. That is, as containers, containers of various formats such as a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution correspond.
また、本技術は、以下のような構成を取ることもできる。
(1)動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第1のビデオストリームと第2のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第1のビデオストリームおよび上記第2のビデオストリームは、第1から第Nのうち、第1から第M(M≦N)のストリームにより構成され、
上記送信部は、
上記第1から第Nのストリームのそれぞれに固定の識別子を付与する
送信装置。
(2)上記送信部は、
上記第1のビデオストリームの送信期間において、
常には、該第1のビデオストリームを構成する各ストリームの識別子情報をコンテナのレイヤに挿入して送信し、
上記第2のビデオストリームの送信期間が開始される直前のタイミングで該第2のビデオストリームを構成する各ストリームの識別情報をコンテナのレイヤに挿入して送信する
前記(1)に記載の送信装置。
(3)上記送信部は、
上記各ビデオストリームの送信期間において、
上記第1から第Nの各ストリームの識別情報をコンテナのレイヤに挿入して送信する
前記(1)に記載の送信装置。
(4)上記送信部は、
上記各ビデオストリームの送信期間において、
切り替え情報をコンテナのレイヤに挿入して送信する
前記(1)から(3)のいずれかに記載の送信装置。
(5)上記切り替え情報は、上記第2のビデオストリームが持つ符号化画像データのフレームレート情報および/またはストリーム構成情報を含む
前記(4)に記載の送信装置。
(6)上記第1のビデオストリームおよび上記第2のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームにより構成される
前記(1)から(5)のいずれかに記載の送信装置。
(7)上記基本ストリームにより構成されるビデオストリームは、第1のフレームレートの符号化画像データを持ち、
上記基本ストリームおよび上記拡張ストリームにより構成されるビデオストリームは、上記第1のフレームレートの2倍の第2のフレームレートの符号化画像データを持つ
前記(6)に記載の送信装置。
(8)上記画像符号化部は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層をM個の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、上記各ビデオストリームの上記第1から第Mのストリームを生成し、
上記第1から第Mの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする
前記(1)から(7)のいずれかに記載の送信装置。
(9)上記送信部は、
上記第1のビデオストリームの送信期間において、
常には、該第1のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、
上記第2のビデオストリームの送信期間が開始される直前のタイミングで該第2のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する
前記(8)に記載の送信装置。
(10)上記第1のビデオストリームおよび上記第2のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、
上記画像符号化部は、
上記拡張ストリームに含めるピクチャの階層が一つとなるように符号化する
前記(8)または(9)に記載の送信装置。
(11)上記送信部は、
上記各ビデオストリームの送信期間において、
該ビデオストリームに上記基本ストリームのみが含まれるとき、
上記基本ストリームのピクチャの階層範囲情報と共に、上記拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する
前記(10)に記載の送信装置。
(12)動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化ステップと、
上記画像符号化ステップで生成された第1のビデオストリームと第2のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記第1のビデオストリームおよび上記第2のビデオストリームは、第1から第Nのうち、第1から第M(M≦N)のストリームにより構成され、
上記送信ステップでは、
上記第1から第Nのストリームのそれぞれに固定の識別子を付与する
送信方法。
(13)符号化画像データを持つ第1のビデオストリームと第2のビデオストリームとを連続的に含む所定フォーマットのコンテナを受信する受信部を備え、
上記第1のビデオストリームおよび上記第2のビデオストリームは、第1から第Nのうち、第1から第M(M≦N)のストリームにより構成され、
上記第1から第Nのストリームのそれぞれに固定の識別子が付与されており、
上記第1のビデオストリームおよび上記第2のビデオストリームに含まれる各ストリームを、それぞれ、付与されている識別子に基づいてフィルタリングして処理する処理部をさらに備える
受信装置。
(14)上記各ビデオストリームの上記第1から第Mのストリームは、
動画像データを構成する各ピクチャの画像データが複数の階層に分類され、該分類された各階層のピクチャの画像データが符号化されると共に、上記複数の階層がM個の階層組に分割され、該分割された各階層組のピクチャの符号化画像データをそれぞれ持ち、
上記第1から第Mの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されている
前記(13)に記載の受信装置。
(15)符号化画像データを持つ第1のビデオストリームと第2のビデオストリームとを連続的に含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記第1のビデオストリームおよび上記第2のビデオストリームは、第1から第Nのうち、第1から第M(M≦N)のストリームにより構成され、
上記第1から第Nのストリームのそれぞれに固定の識別子が付与されており、
上記第1のビデオストリームおよび上記第2のビデオストリームに含まれる各ストリームを、それぞれ、付与されている識別子に基づいてフィルリングして処理する処理ステップをさらに有する
受信方法。
(16)符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第1のビデオストリームと第2のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第1のビデオストリームおよび上記第2のビデオストリームは、第1から第Nのうち、第1から第M(M≦N)のストリームにより構成され、
上記画像符号化部は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層をM個の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、上記各ビデオストリームの上記第1から第Mのストリームを生成し、
上記第1から第Mの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする
送信装置。
(17)上記送信部は、
上記第1のビデオストリームの送信期間において、
常には、該第1のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、
上記第2のビデオストリームの送信期間が開始される直前のタイミングで該第2のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する
前記(16)に記載の送信装置。
(18)上記第1のビデオストリームおよび上記第2のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、
上記拡張ストリームに含まれるピクチャの階層は一つとされている
前記(16)または(17)に記載の送信装置。
(19)上記送信部は、
上記各ビデオストリームの送信期間において、
該ビデオストリームに上記基本ストリームのみが含まれるとき、
上記基本ストリームのピクチャの階層範囲情報と共に、上記拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する
前記(18)に記載の送信装置。
In addition, the present technology may have the following configurations.
(1) an image encoding unit that encodes image data of each picture constituting moving image data to generate a video stream;
A transmitting unit that transmits a container of a predetermined format including the first video stream and the second video stream continuously generated by the image encoding unit,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
The transmission unit,
A transmission device that assigns a fixed identifier to each of the first to Nth streams.
(2) The transmitting unit includes:
In the transmission period of the first video stream,
Normally, the identifier information of each stream constituting the first video stream is inserted into the layer of the container and transmitted.
The transmission device according to (1), wherein identification information of each stream constituting the second video stream is inserted into a container layer and transmitted at a timing immediately before the transmission period of the second video stream starts. .
(3) The transmitting unit:
In the transmission period of each video stream,
The transmission device according to (1), wherein the identification information of each of the first to Nth streams is inserted into a container layer and transmitted.
(4) The transmitting unit:
In the transmission period of each video stream,
The transmission device according to any one of (1) to (3), wherein the switching information is inserted into a layer of the container and transmitted.
(5) The transmission device according to (4), wherein the switching information includes frame rate information and / or stream configuration information of encoded image data included in the second video stream.
(6) The transmission device according to any one of (1) to (5), wherein the first video stream and the second video stream include at least a basic stream among a basic stream and an extension stream.
(7) A video stream composed of the basic stream has encoded image data of a first frame rate,
The transmission device according to (6), wherein the video stream including the basic stream and the extension stream has encoded image data of a second frame rate that is twice the first frame rate.
(8) The image encoding unit includes:
Classifying the image data of each picture constituting the moving image data into a plurality of layers, encoding the image data of the classified pictures of the respective layers, and dividing the plurality of layers into a set of M layers; Generating the first to M-th streams of each of the video streams, each having encoded image data of a picture of each of the divided hierarchical sets,
The transmission device according to any one of (1) to (7), wherein layer encoding is performed such that layers of pictures included in each of the first to M-th streams fall within mutually pre-assigned independent ranges. .
(9) The transmitting unit:
In the transmission period of the first video stream,
Usually, the hierarchical range information of the picture of each stream constituting the first video stream is inserted into the layer of the container and transmitted,
At the timing immediately before the start of the transmission period of the second video stream, the hierarchical range information of the picture of each stream constituting the second video stream is inserted into the container layer and transmitted. Transmission device.
(10) The first video stream and the second video stream include at least a basic stream among a basic stream and an extension stream,
The image encoding unit includes:
The transmitting device according to (8) or (9), wherein encoding is performed such that the number of picture layers included in the extension stream is one.
(11) The transmitting unit:
In the transmission period of each video stream,
When the video stream includes only the basic stream,
The transmitting device according to (10), wherein the hierarchical range information of the picture of the extension stream is inserted into the layer of the container together with the hierarchical range information of the picture of the basic stream and transmitted.
(12) an image encoding step of encoding image data of each picture constituting moving image data to generate a video stream;
A transmitting step of transmitting a container of a predetermined format continuously including the first video stream and the second video stream generated in the image encoding step,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
In the above transmission step,
A transmission method for assigning a fixed identifier to each of the first to Nth streams.
(13) a receiving unit that receives a container of a predetermined format that continuously includes a first video stream and a second video stream having encoded image data,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
A fixed identifier is assigned to each of the first to Nth streams,
A receiving device further comprising a processing unit that filters and processes each of the streams included in the first video stream and the second video stream based on the assigned identifier.
(14) The first to M-th streams of each video stream are:
The image data of each picture constituting the moving image data is classified into a plurality of layers, the image data of the classified pictures of each layer is encoded, and the plurality of layers are divided into M sets of layers. Having coded image data of pictures of each of the divided hierarchical sets,
The receiving apparatus according to (13), wherein the layers included in the first to M-th streams are hierarchically encoded such that the layers of the pictures included in the respective streams fall within independent ranges which are assigned in advance.
(15) having a receiving step of receiving a container of a predetermined format continuously including a first video stream and a second video stream having encoded image data,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
A fixed identifier is assigned to each of the first to Nth streams,
A reception method, further comprising a processing step of filtering and processing each stream included in the first video stream and the second video stream based on an assigned identifier.
(16) an image encoding unit that generates a video stream having encoded image data;
A transmitting unit that transmits a container of a predetermined format including the first video stream and the second video stream continuously generated by the image encoding unit,
The first video stream and the second video stream are configured by first to M-th (M ≦ N) streams among the first to N-th streams,
The image encoding unit includes:
Classifying the image data of each picture constituting the moving image data into a plurality of layers, encoding the classified image data of the pictures of each layer, and dividing the plurality of layers into a set of M layers; Generating the first to M-th streams of each of the video streams, each having encoded image data of a picture of each of the divided hierarchical sets,
A transmission apparatus that performs layer coding so that the layers of pictures included in each of the first to M-th streams fall within mutually pre-assigned independent ranges.
(17) The transmitting unit:
In the transmission period of the first video stream,
Always, insert the hierarchical range information of the picture of each stream included in the first video stream into the layer of the container and transmit it.
At the timing immediately before the transmission period of the second video stream starts, the hierarchical range information of the picture of each stream included in the second video stream is inserted into the layer of the container and transmitted. Transmission device.
(18) The first video stream and the second video stream include at least a basic stream among a basic stream and an extension stream,
The transmission device according to (16) or (17), wherein the extension stream has one layer of pictures.
(19) The transmitting unit includes:
In the transmission period of each video stream,
When the video stream includes only the basic stream,
The transmitting device according to (18), wherein the hierarchical range information of the picture of the extension stream is inserted into the layer of the container together with the hierarchical range information of the picture of the basic stream and transmitted.
本技術の主な特徴は、基本ストリーム、拡張ストリームに固定の識別子を付与することで、サービスの切り替えがあっても、受信側では、デマルチプレクサで各ストリームを取り出すフィルタの設定を変更することを要せず、表示ミュートの発生を抑制し、シームレス表示を可能としたことである(図16参照)。また、本技術の主な特徴は、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように各サービスのビデオストリームの階層符号化を行うことで、ビデオとHEVCデスクリプタの“temporal_id”の値が不一致となることを回避したことである(図20参照)。 The main feature of this technology is to assign a fixed identifier to the basic stream and extension stream, so that even if the service is switched, the receiving side can change the setting of the filter that extracts each stream with the demultiplexer. This eliminates the need for display mute and enables seamless display (see FIG. 16). In addition, the main feature of the present technology is that the video stream of each service is layer-encoded so that the layer of the picture included in each of the basic stream and the extension stream falls within a pre-assigned mutually independent range. This is to avoid that the values of “temporal_id” of the HEVC descriptor do not match (see FIG. 20).
10・・・送受信システム
100・・・送信装置
101・・・CPU
102A,102B・・・エンコーダ
103A,103B・・・圧縮データバッファ(cpb)
104・・・マルチプレクサ
105・・・送信部
141・・・セクション情報発生部
142・・・ヌルパケット発生部
143・・・セレクタ
144・・・PID割り当て部
145・・・TS多重化部
200・・・受信装置
201・・・CPU
202・・・受信部
203・・・デマルチプレクサ
204・・・圧縮データバッファ(cpb)
205・・・デコーダ
206・・・非圧縮データバッファ(dpb)
207・・・ポスト処理部
208・・・表示部
231・・・PIDフィルタ
232_0〜232_n,232_null,232_c・・・多重化バッファ
233・・・セクションフィルタ
234・・・PMT解析部
10 Transmission /
102A, 102B ... encoder 103A, 103B ... compressed data buffer (cpb)
104: Multiplexer 105: Transmitting unit 141: Section information generating unit 142: Null packet generating unit 143: Selector 144: PID assigning unit 145: TS multiplexing unit 200: -Receiving device 201 ... CPU
202: receiving unit 203: demultiplexer 204: compressed data buffer (cpb)
205: decoder 206: uncompressed data buffer (dpb)
207
Claims (6)
上記基本ストリームの各ピクチャの階層構造が変化する場合において、上記拡張ストリームに含まれるピクチャの階層は上記基本ストリームのピクチャが取り得る最大階層より大きな固定の階層とされており、
デコード能力に応じて、上記基本ストリームに含まれる各階層のピクチャの符号化画像データのみを抽出し、あるいは上記基本ストリームに含まれる各階層のピクチャの符号化画像データおよび上記拡張ストリームに含まれる上記固定の階層のピクチャの符号化画像データの双方を抽出し、デコード処理を行って得られた各ピクチャの画像データのフレームレートを表示能力に合わせる処理部をさらに備える
受信装置。 A base stream having encoded image data of a lower layer picture and an extended stream having encoded image data of a higher layer picture, which are generated by hierarchically encoding the image data of each picture constituting moving image data. And a receiving unit for receiving a multiplexed stream including
When the layer structure of each picture of the basic stream changes, the layer of the picture included in the extension stream is a fixed layer larger than the maximum layer that the picture of the basic stream can take,
Depending on the decoding capability, only the coded image data of the picture of each layer included in the basic stream is extracted, or the coded image data of the picture of each layer included in the basic stream and the both extracted encoded image data of a picture of a fixed hierarchy, further comprising receiving apparatus section to match the frame rate of the image data of each picture obtained by performing the decode processing on the display capabilities.
請求項1に記載の受信装置。The receiving device according to claim 1.
請求項1に記載の受信装置。The receiving device according to claim 1.
請求項1に記載の受信装置。The receiving device according to claim 1.
請求項1に記載の受信装置。 The receiving device according to claim 1.
上記基本ストリームの各ピクチャの階層構造が変化する場合において、上記拡張ストリームに含まれるピクチャの階層は上記基本ストリームのピクチャが取り得る最大階層より大きな固定の階層とされており、
処理部が、デコード能力に応じて、上記基本ストリームに含まれる各階層のピクチャの符号化画像データのみを抽出し、あるいは上記基本ストリームに含まれる各階層のピクチャの符号化画像データおよび上記拡張ストリームに含まれる上記固定の階層のピクチャの符号化画像データの双方を抽出し、デコード処理を行って得られた各ピクチャの画像データのフレームレートを表示能力に合わせる処理ステップをさらに有する
受信方法。 A receiving unit configured to encode the image data of each picture constituting the moving image data by hierarchical encoding, and generate a basic stream having encoded image data of a lower hierarchical picture and encoded image data of a higher hierarchical picture; Having a receiving step of receiving a multiplexed stream including an extension stream having
When the layer structure of each picture of the basic stream changes, the layer of the picture included in the extension stream is a fixed layer larger than the maximum layer that the picture of the basic stream can take,
The processing unit extracts only the coded image data of the picture of each layer included in the basic stream or the coded image data of the picture of each layer included in the basic stream and the extension stream according to the decoding capability. the both coded image data of the picture fixed hierarchy extracts, receiving method further comprising the process steps to match the display capability of the frame rate of the image data of each picture obtained by performing the decode processing included in.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015153166A JP6671120B2 (en) | 2015-08-03 | 2015-08-03 | Transmitting device, transmitting method, receiving device and receiving method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015153166A JP6671120B2 (en) | 2015-08-03 | 2015-08-03 | Transmitting device, transmitting method, receiving device and receiving method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014083232A Division JP5836424B2 (en) | 2014-04-14 | 2014-04-14 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015232809A Division JP5961317B2 (en) | 2015-11-30 | 2015-11-30 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
JP2015232815A Division JP5966075B2 (en) | 2015-11-30 | 2015-11-30 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015204634A JP2015204634A (en) | 2015-11-16 |
JP2015204634A5 JP2015204634A5 (en) | 2017-04-27 |
JP6671120B2 true JP6671120B2 (en) | 2020-03-25 |
Family
ID=54597808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015153166A Active JP6671120B2 (en) | 2015-08-03 | 2015-08-03 | Transmitting device, transmitting method, receiving device and receiving method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6671120B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018037985A1 (en) * | 2016-08-22 | 2018-03-01 | ソニー株式会社 | Transmission apparatus, transmission method, reception apparatus, and reception method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9525895B2 (en) * | 2012-08-27 | 2016-12-20 | Sony Corporation | Transmission device, transmission method, reception device, and reception method |
-
2015
- 2015-08-03 JP JP2015153166A patent/JP6671120B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015204634A (en) | 2015-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11800162B2 (en) | Transmission device, transmission method, reception device, and reception method | |
US11758160B2 (en) | Transmission device, transmission method, reception device, and reception method | |
JP2023010912A (en) | Transmission method and reception device | |
JP5961317B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP6671120B2 (en) | Transmitting device, transmitting method, receiving device and receiving method | |
JP5966075B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP5976189B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP6350638B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP5976188B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP6052354B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP2018157591A (en) | Transmitter, transmission method, receiver and reception method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170327 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6671120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |