JP7472345B2 - Transmission method, reception method, transmission device, and reception device - Google Patents

Transmission method, reception method, transmission device, and reception device Download PDF

Info

Publication number
JP7472345B2
JP7472345B2 JP2023031252A JP2023031252A JP7472345B2 JP 7472345 B2 JP7472345 B2 JP 7472345B2 JP 2023031252 A JP2023031252 A JP 2023031252A JP 2023031252 A JP2023031252 A JP 2023031252A JP 7472345 B2 JP7472345 B2 JP 7472345B2
Authority
JP
Japan
Prior art keywords
packet
unit
data
packets
basic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023031252A
Other languages
Japanese (ja)
Other versions
JP2023060064A (en
Inventor
正真 遠間
賀敬 井口
久也 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014176180A external-priority patent/JP6268066B2/en
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JP2023060064A publication Critical patent/JP2023060064A/en
Application granted granted Critical
Publication of JP7472345B2 publication Critical patent/JP7472345B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/42615—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific demultiplexing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、送信方法、受信方法、送信装置及び受信装置に関する。 The present invention relates to a transmission method, a reception method, a transmission device, and a reception device.

放送及び通信サービスの高度化に伴い、８Ｋ（７６８０×４３２０ピクセル：以下では８Ｋ４Ｋとも呼ぶ）及び４Ｋ（３８４０×２１６０ピクセル：以下では４Ｋ２Ｋとも呼ぶ）などの超高精細な動画像コンテンツの導入が検討されている。受信装置は、受信した超高精細な動画像の符号化データを実時間で復号して表示する必要があるが、特に８Ｋなどの解像度の動画像は復号時の処理負荷が大きく、このような動画像を１つの復号器で、実時間で復号することは困難である。従って、複数の復号器を用いて復号処理を並列化することで、１つの復号器あたりの処理負荷を低減し、実時間処理を達成する方法が検討されている。 As broadcasting and communication services become more advanced, the introduction of ultra-high definition video content such as 8K (7680 x 4320 pixels, hereinafter also referred to as 8K4K) and 4K (3840 x 2160 pixels, hereinafter also referred to as 4K2K) is being considered. A receiving device needs to decode the encoded data of received ultra-high definition video in real time and display it, but video with a resolution such as 8K in particular imposes a large processing load during decoding, making it difficult to decode such video in real time with a single decoder. Therefore, a method is being considered that reduces the processing load per decoder and achieves real-time processing by parallelizing the decoding process using multiple decoders.

また、符号化データはＭＰＥＧ－２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）又はＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）などの多重化方式に基づいて多重化されたうえで送信される。例えば、非特許文献１には、ＭＭＴに従って、符号化されたメディアデータをパケット毎に送信する技術が開示されている。 The encoded data is multiplexed based on a multiplexing method such as MPEG-2 TS (Transport Stream) or MMT (MPEG Media Transport) before being transmitted. For example, Non-Patent Document 1 discloses a technique for transmitting encoded media data packet by packet according to MMT.

Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ － Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｃｏｄｉｎｇ ａｎｄ ｍｅｄｉａ ｄｅｌｉｖｅｒｙ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｅｎｖｉｒｏｎｍｅｎｔ － Ｐａｒｔ１：ＭＰＥＧ ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ（ＭＭＴ）、ＩＳＯ／ＩＥＣ ＤＩＳ ２３００８－１Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 1: MPEG media transport (MMT), ISO/IEC DIS 23008-1

しかしながら、符号化データはＭＰＥＧ－２ ＴＳ又はＭＭＴなどの多重化方式に基づいて多重化されたうえで送信されるため、受信装置は、復号に先立って、多重化データから動画像の符号化データを分離する必要がある。以下では、多重化データから符号化データを分離する処理を逆多重化と呼ぶ。 However, since the encoded data is multiplexed based on a multiplexing method such as MPEG-2 TS or MMT before being transmitted, the receiving device must separate the encoded data of the video from the multiplexed data prior to decoding. In the following, the process of separating the encoded data from the multiplexed data is referred to as demultiplexing.

復号処理を並列化する場合、受信装置は、各復号器のそれぞれに対して、復号対象の符号化データを振り分ける必要がある。このとき、受信装置は、符号化データそのものを解析する必要がある。特に８Ｋなどのコンテンツにおいてはビットレートが非常に高いことから、解析に係る処理負荷が大きい。これにより、逆多重化処理がボトルネックとなり実時間での再生が行えない場合があるという課題がある。 When parallelizing the decoding process, the receiving device needs to distribute the encoded data to be decoded to each decoder. At this time, the receiving device needs to analyze the encoded data itself. In particular, the bit rate of 8K content is very high, so the processing load related to the analysis is large. This causes the demultiplexing process to become a bottleneck, and there are cases where real-time playback is not possible.

そこで、本発明は、復号対象データの生成に係る処理量を低減できる送信方法又は受信方法を提供することを目的とする。 The present invention aims to provide a transmission method or a reception method that can reduce the amount of processing involved in generating data to be decrypted.

上記目的を達成するために、本発明の一態様に係る送信方法は、ピクチャを複数の領域に分割する分割ステップと、前記複数の領域の各々を独立して復号が可能なように符号化することで、前記複数の領域の各々に対応する符号化データを生成する符号化ステップと、生成された複数の前記符号化データを、複数のパケットに格納するパケット化ステップと、前記複数のパケットを送信する送信ステップとを含み、前記複数の符号化データの各
々は、１以上のパケットに格納されるデータの単位である基本データ単位と一対一で対応付けられており、前記複数の符号化データの各々は、前記１以上のパケットに格納され、各前記パケットのヘッダ情報は、（１）前記基本データ単位に当該パケットのみが含まれる、（２）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭のパケットである、（３）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭及び最後以外のパケットである、及び、（４）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の最後のパケットである、のいずれであるかを示す識別情報を含み、前記パケット化ステップでは、前記ピクチャ内の復号単位に用いられる制御情報を、前記複数の符号化データが格納される複数のパケットとは異なる１つのパケットに格納し、当該パケットのヘッダ情報は、前記基本データ単位に当該パケットのみが含まれることを示す識別情報を含み、前記パケットの前記ヘッダ情報は、当該パケットに格納されるデータが、前記基本データ単位の何番目の分割データであるかを示す情報を含む。 In order to achieve the above object, a transmission method according to one aspect of the present invention includes a division step of dividing a picture into a plurality of regions, an encoding step of generating encoded data corresponding to each of the plurality of regions by encoding each of the plurality of regions so that the plurality of regions can be decoded independently, a packetization step of storing the generated plurality of encoded data in a plurality of packets, and a transmission step of transmitting the plurality of packets, wherein each of the plurality of encoded data is in one-to-one correspondence with a basic data unit which is a unit of data stored in one or more packets, each of the plurality of encoded data is stored in the one or more packets, and header information of each of the packets is: (1) the basic data unit includes only the packet, (2) the basic data unit includes a plurality of packets, and the packetization step includes identification information indicating whether the packet is the first packet of the basic data unit, (3) the basic data unit includes a plurality of packets, and the packet is a packet other than the first or last packet of the basic data unit, or (4) the basic data unit includes a plurality of packets, and the packet is the last packet of the basic data unit, and in the packetization step, control information used for a decoding unit within the picture is stored in a single packet different from the plurality of packets in which the plurality of encoded data are stored, and header information of the packet includes identification information indicating that the basic data unit includes only the packet, and the header information of the packet includes information indicating which divided data of the basic data unit the data stored in the packet is.

また、本発明の一態様に係る受信方法は、複数の復号部を備える受信装置における受信方法であって、ピクチャが分割されることにより得られた複数の領域が、独立して復号が可能なように符号化されることで得られた複数の符号化データがパケット化されることで得られた複数のパケットを受信する受信ステップと、前記複数の復号部が、前記複数の符号化データを並列に復号する復号ステップとを含み、前記複数の符号化データの各々は、１以上のパケットに格納されるデータの単位である基本データ単位と一対一で対応付けられており、前記複数の符号化データの各々は、前記１以上のパケットに格納され、各前記パケットのヘッダ情報は、（１）前記基本データ単位に当該パケットのみが含まれる、（２）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭のパケットである、（３）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭及び最後以外のパケットである、及び、（４）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の最後のパケットである、のいずれであるかを示す識別情報を含み、前記ピクチャ内の復号単位に用いられる制御情報は、前記複数の符号化データが格納される複数のパケットとは異なるパケットに１つの格納されており、当該パケットのヘッダ情報は、前記基本データ単位に当該パケットのみが含まれることを示す識別情報を含み、前記パケットの前記ヘッダ情報は、当該パケットに格納されるデータが、前記基本データ単位の何番目の分割データであるかを示す情報を含む。 In addition, a receiving method according to one aspect of the present invention is a receiving method in a receiving device having a plurality of decoding units, and includes a receiving step of receiving a plurality of packets obtained by packetizing a plurality of encoded data obtained by encoding a plurality of areas obtained by dividing a picture so that the plurality of areas can be decoded independently, and a decoding step of the plurality of decoding units decoding the plurality of encoded data in parallel, each of the plurality of encoded data being in one-to-one correspondence with a basic data unit which is a unit of data stored in one or more packets, each of the plurality of encoded data being stored in the one or more packets, and header information of each of the packets being: (1) the basic data unit includes only the packet, (2) the basic data unit includes a plurality of packets, and the packet (3) the basic data unit includes multiple packets, and the packet is a packet other than the first or last packet of the basic data unit; or (4) the basic data unit includes multiple packets, and the packet is the last packet of the basic data unit; the control information used for the decoding unit in the picture is stored in a single packet that is different from the multiple packets in which the multiple encoded data are stored, and the header information of the packet includes identification information indicating that only the packet is included in the basic data unit, and the header information of the packet includes information indicating which divided data of the basic data unit the data stored in the packet is.

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 These general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium such as a computer-readable CD-ROM, or may be realized by any combination of a system, a method, an integrated circuit, a computer program, and a recording medium.

本発明は、復号対象データの生成に係る処理量を低減できる送信方法又は受信方法を提供できる。 The present invention provides a transmission method or a reception method that can reduce the amount of processing involved in generating data to be decrypted.

ピクチャをスライスセグメントに分割する例を示す図である。FIG. 2 is a diagram showing an example of dividing a picture into slice segments. ピクチャのデータが格納されたＰＥＳパケット列の一例を示す図である。FIG. 2 is a diagram showing an example of a PES packet sequence in which picture data is stored. 実施の形態に係るピクチャの分割例を示す図である。FIG. 2 is a diagram showing an example of dividing a picture according to an embodiment; 実施の形態の比較例に係るピクチャの分割例を示す図である。FIG. 11 is a diagram showing an example of dividing a picture according to a comparative example of the embodiment; 実施の形態に係るアクセスユニットのデータの一例を示す図である。FIG. 2 is a diagram showing an example of data of an access unit according to an embodiment. 実施の形態に係る送信装置のブロック図である。FIG. 2 is a block diagram of a transmission device according to an embodiment. 実施の形態に係る受信装置のブロック図である。FIG. 2 is a block diagram of a receiving device according to an embodiment. 実施の形態に係るＭＭＴパケットの一例を示す図である。FIG. 2 is a diagram illustrating an example of an MMT packet according to an embodiment. 実施の形態に係るＭＭＴパケットの別の例を示す図である。FIG. 13 is a diagram showing another example of an MMT packet according to an embodiment. 実施の形態に係る各復号部に入力されるデータの一例を示す図である。11 is a diagram showing an example of data input to each decoding unit according to the embodiment; FIG. 実施の形態に係るＭＭＴパケット及びヘッダ情報の一例を示す図である。FIG. 2 is a diagram showing an example of an MMT packet and header information according to an embodiment. 実施の形態に係る各復号部に入力されるデータの別の例を示す図である。13 is a diagram showing another example of data input to each decoding unit according to the embodiment; FIG. 実施の形態に係るピクチャの分割例を示す図である。FIG. 2 is a diagram showing an example of dividing a picture according to an embodiment; 実施の形態に係る送信方法のフローチャートである。1 is a flowchart of a transmission method according to an embodiment. 実施の形態に係る受信装置のブロック図である。FIG. 2 is a block diagram of a receiving device according to an embodiment. 実施の形態に係る受信方法のフローチャートである。4 is a flowchart of a receiving method according to an embodiment. 実施の形態に係るＭＭＴパケット及びヘッダ情報の一例を示す図である。FIG. 2 is a diagram showing an example of an MMT packet and header information according to an embodiment. 実施の形態に係るＭＭＴパケット及びヘッダ情報の一例を示す図である。FIG. 2 is a diagram showing an example of an MMT packet and header information according to an embodiment.

（本発明の基礎となった知見）
近年、ＴＶ、スマートフォン、又はタブレット端末などのディスプレイの高解像度化が進んでいる。特に日本国内の放送においては２０２０年に８Ｋ４Ｋ（解像度が８Ｋ×４Ｋ）のサービスが予定されている。８Ｋ４Ｋなどの超高解像度の動画像においては、単一の復号器では実時間での復号が困難であるため、複数の復号器を用いて並列に復号処理を行う手法が検討されている。 (Findings on which the present invention is based)
In recent years, the resolution of displays such as TVs, smartphones, and tablet terminals has been increasing. In particular, 8K4K (resolution 8K×4K) services are planned for broadcasting in Japan in 2020. Since it is difficult to decode ultra-high resolution moving images such as 8K4K in real time using a single decoder, a method of performing decoding processing in parallel using multiple decoders has been considered.

ＭＰＥＧとＩＴＵにより規格化されたＨ．２６４及びＨ．２６５などの動画像符号化方式においては、送信装置は、ピクチャをスライス又はスライスセグメントと呼ばれる複数の領域に分割し、分割したそれぞれの領域を独立に復号できるように符号化することができる。従って、例えば、Ｈ．２６５の場合には、放送を受信する受信装置は、受信データからスライスセグメント毎のデータを分離し、各スライスセグメントのデータを別々の復号器に出力することで、復号処理の並列化を実現できる。 In video coding methods such as H.264 and H.265 standardized by MPEG and ITU, a transmitting device divides a picture into multiple areas called slices or slice segments, and can encode each divided area so that it can be decoded independently. Therefore, for example, in the case of H.265, a receiving device that receives a broadcast can separate data for each slice segment from the received data and output the data for each slice segment to a separate decoder, thereby achieving parallel decoding.

図１は、ＨＥＶＣにおいて、１つのピクチャを４つのスライスセグメントに分割する例を示す図である。例えば、受信装置は４つの復号器を備え、各復号器が４つのスライスセグメントのうちいずれかを復号する。 Figure 1 shows an example of dividing one picture into four slice segments in HEVC. For example, a receiving device has four decoders, and each decoder decodes one of the four slice segments.

従来の放送においては、送信装置は、１枚のピクチャ（ＭＰＥＧシステム規格におけるアクセスユニット）を１つのＰＥＳパケットに格納し、ＰＥＳパケットをＴＳパケット列に多重化する。このため、受信装置は、ＰＥＳパケットのペイロードを分離したうえで、ペイロードに格納されたアクセスユニットのデータを解析することで、各スライスセグメントを分離し、分離された各スライスセグメントのデータを復号器に出力する必要があった。 In conventional broadcasting, a transmitting device stores one picture (an access unit in the MPEG system standard) in one PES packet and multiplexes the PES packet into a sequence of TS packets. For this reason, a receiving device had to separate the payload of the PES packet, analyze the data of the access unit stored in the payload, separate each slice segment, and output the data of each separated slice segment to a decoder.

しかしながら、アクセスユニットのデータを解析してスライスセグメントを分離する際の処理量が大きいため、この処理を実時間で行うことが困難であるという課題があることを本発明者は見出した。 However, the inventors have discovered that there is a problem in that analyzing access unit data and separating slice segments requires a large amount of processing, making it difficult to perform this processing in real time.

図２は、スライスセグメントに分割されたピクチャのデータが、ＰＥＳパケットのペイロードに格納される例を示す図である。 Figure 2 shows an example of how picture data divided into slice segments is stored in the payload of a PES packet.

図２に示すように、例えば、複数のスライスセグメント（スライスセグメント１～４）のデータが１つのＰＥＳパケットのペイロードに格納される。また、ＰＥＳパケットはＴＳパケット列に多重化される。 As shown in FIG. 2, for example, data from multiple slice segments (slice segments 1 to 4) is stored in the payload of one PES packet. In addition, the PES packet is multiplexed into a sequence of TS packets.

本発明の一態様に係る送信方法は、ピクチャを複数の領域に分割する分割ステップと、前記複数の領域の各々を独立して復号が可能なように符号化することで、前記複数の領域の各々に対応する符号化データを生成する符号化ステップと、生成された複数の前記符号化データを、複数のパケットに格納するパケット化ステップと、前記複数のパケットを送信する送信ステップとを含み、前記パケット化ステップでは、一つの前記パケットに、異なる前記領域に対応する前記符号化データが格納されないように、前記複数の符号化データを前記複数のパケットに格納する。 A transmission method according to one aspect of the present invention includes a division step of dividing a picture into a plurality of regions, an encoding step of generating encoded data corresponding to each of the plurality of regions by encoding each of the plurality of regions so that each of the plurality of regions can be decoded independently, a packetization step of storing the generated plurality of encoded data in a plurality of packets, and a transmission step of transmitting the plurality of packets, in which the packetization step stores the plurality of encoded data in the plurality of packets such that the encoded data corresponding to different regions is not stored in one packet.

これによれば、各領域の符号化データが異なるパケットに格納されるので、受信装置は、パケットのペイロードに格納された符号化データを解析することなく、当該パケットに格納されているデータが、どの領域の符号化データであるかを判定できる。これにより、受信装置は、各復号部の復号対象データの生成処理を少ない処理量で行うことができる。このように、受信装置における復号対象データの生成に係る処理量が低減される。 With this, the encoded data for each region is stored in a different packet, so the receiving device can determine which region's encoded data the data stored in the packet is from without analyzing the encoded data stored in the packet's payload. This allows the receiving device to perform the process of generating data to be decoded by each decoding section with a small amount of processing. In this way, the amount of processing involved in generating data to be decoded in the receiving device is reduced.

例えば、前記パケット化ステップでは、前記ピクチャ内の全ての復号単位に対して共通に用いられる制御情報を、前記複数の符号化データが格納される複数のパケットとは異なるパケットに格納してもよい。 For example, in the packetization step, control information commonly used for all decoding units in the picture may be stored in a packet that is different from the packets in which the multiple encoded data are stored.

これによれは、受信装置は、パケットのペイロードに格納された符号化データを解析することなく、制御情報が格納されているパケットを判定できる。これにより、受信装置における復号対象データの生成に係る処理量を低減できる。 This allows the receiving device to determine which packets contain control information without analyzing the encoded data stored in the payload of the packets. This reduces the amount of processing required to generate the data to be decoded in the receiving device.

また、本発明の一態様に係る受信方法は、複数の復号部を備える受信装置における受信方法であって、ピクチャが分割されることにより得られた複数の領域が、独立して復号が可能なように符号化されることで得られた複数の符号化データが、異なる前記領域の前記符号化データが一つのパケットに格納されないようにパケット化されることで得られた複数のパケットを受信する受信ステップと、前記複数のパケットのいずれかに含まれる、前記ピクチャ内の全ての復号単位に対して共通に用いられる制御情報と、前記複数の領域の前記複数の符号化データの各々とを結合することで、複数の結合データを生成する結合ステップと、前記複数の復号部が、前記複数の結合データを並列に復号する復号ステップとを含む。 A receiving method according to one aspect of the present invention is a receiving method in a receiving device having a plurality of decoding units, and includes a receiving step of receiving a plurality of packets obtained by encoding a plurality of regions obtained by dividing a picture so that the plurality of encoded data can be decoded independently, and packetizing the plurality of encoded data of different regions so that the encoded data of the different regions is not stored in a single packet; a combining step of generating a plurality of combined data by combining control information included in any of the plurality of packets and used in common for all decoding units in the picture with each of the plurality of encoded data of the plurality of regions; and a decoding step of the plurality of decoding units decoding the plurality of combined data in parallel.

これによれば、各領域の符号化データが異なるパケットに格納されるので、受信装置は、パケットのペイロードに格納された符号化データを解析することなく、当該パケットに格納されているデータが、どの領域の符号化データであるかを判定できる。これにより、受信装置は、各復号部の復号対象データの生成処理を少ない処理量で行うことができる。このように、受信装置における復号対象データの生成に係る処理量が低減される。 With this, the encoded data for each region is stored in a different packet, so the receiving device can determine which region's encoded data the data stored in the packet is from without analyzing the encoded data stored in the packet's payload. This allows the receiving device to perform the process of generating data to be decoded by each decoding section with a small amount of processing. In this way, the amount of processing involved in generating data to be decoded in the receiving device is reduced.

例えば、前記制御情報は、前記複数の符号化データが格納される複数のパケットとは異なるパケットに格納されていてもよい。 For example, the control information may be stored in a packet that is different from the packets in which the encoded data are stored.

これによれは、受信装置は、パケットのペイロードに格納された符号化データを解析することなく、制御情報が格納されているパケットを判定できる。これにより、受信装置における復号対象データの生成に係る処理量を低減できる。 This allows the receiving device to determine which packets contain control information without analyzing the encoded data stored in the payload of the packets. This reduces the amount of processing required to generate the data to be decoded in the receiving device.

例えば、前記結合ステップでは、前記パケットのヘッダ情報を用いて、前記パケットに格納されているデータが、前記複数の領域のうちいずれの領域の符号化データであるかを判定してもよい。 For example, in the combining step, header information of the packet may be used to determine which of the multiple regions the data stored in the packet is encoded data for.

これによれば、受信装置は、パケットのヘッダ情報を用いて、当該パケットに格納されているデータが、どの領域の符号化データであるかを判定できる。 This allows the receiving device to use the packet's header information to determine which area of encoded data the data stored in the packet belongs to.

例えば、前記複数の符号化データの各々は、１以上のパケットに格納されるデータの単位である基本データ単位と一対一で対応付けられており、前記複数の符号化データの各々は、前記１以上のパケットに格納され、各前記パケットの前記ヘッダ情報は、（１）前記基本データ単位に当該パケットのみが含まれる、（２）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭のパケットである、（３）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭及び最後以外のパケットである、及び、（４）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の最後のパケットである、のいずれであるかを示す識別情報を含み、前記結合ステップでは、（１）前記基本データ単位に当該パケットのみが含まれる、又は、（２）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭のパケットである、ことを示す前記識別情報が含まれる前記ヘッダ情報を有する前記パケットに含まれるペイロードデータの先頭を、前記各領域の前記符号化データの先頭であると判定してもよい。 For example, each of the multiple encoded data is in one-to-one correspondence with a basic data unit, which is a unit of data stored in one or more packets, and each of the multiple encoded data is stored in the one or more packets, and the header information of each of the packets includes identification information indicating whether (1) the basic data unit includes only the packet, (2) the basic data unit includes multiple packets and the packet is the first packet of the basic data unit, (3) the basic data unit includes multiple packets and the packet is a packet other than the first or last packet of the basic data unit, or (4) the basic data unit includes multiple packets and the packet is the last packet of the basic data unit, and in the combining step, the start of payload data included in the packet having the header information including the identification information indicating that (1) the basic data unit includes only the packet, or (2) the basic data unit includes multiple packets and the packet is the first packet of the basic data unit, may be determined to be the start of the encoded data of each of the areas.

これによれば、受信装置は、パケットのヘッダ情報を用いて、当該パケットに格納されているデータが、どの領域の符号化データであるかを判定できる。 This allows the receiving device to use the packet's header information to determine which area of encoded data the data stored in the packet belongs to.

例えば、前記パケットの前記ヘッダ情報は、さらに、前記複数の符号化データを含む前記ピクチャの符号化データの先頭から、当該パケットに含まれる符号化データの先頭までのビット長を示すオフセット情報を含み、前記結合ステップでは、（１）前記基本データ単位に当該パケットのみが含まれる、又は、（２）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭のパケットである、ことを示す前記識別情報と、ゼロでない前記ビット長を示す前記オフセット情報と、が含まれる前記ヘッダ情報を有する前記パケットに含まれるペイロードデータの先頭を、前記各領域の前記符号化データの先頭であると判定してもよい。 For example, the header information of the packet may further include offset information indicating the bit length from the beginning of the encoded data of the picture including the multiple encoded data to the beginning of the encoded data included in the packet, and in the combining step, the beginning of the payload data included in the packet having the header information including the identification information indicating that (1) the basic data unit includes only the packet, or (2) the basic data unit includes multiple packets and the packet is the first packet of the basic data unit, and the offset information indicating the bit length that is not zero, may be determined to be the beginning of the encoded data for each region.

これによれば、受信装置は、パケットのヘッダ情報を用いて、当該パケットに格納されているデータが、どの領域の符号化データであるかを判定できる。 This allows the receiving device to use the packet's header information to determine which area of encoded data the data stored in the packet belongs to.

例えば、前記受信方法は、さらに、前記ピクチャの解像度、前記ピクチャの前記複数の領域への分割方法、及び、前記複数の復号部の処理能力の少なくとも一つに基づき、前記複数の結合データの各々を復号する前記復号部を決定する決定ステップを含んでもよい。 For example, the receiving method may further include a determination step of determining the decoding unit that will decode each of the multiple combined data based on at least one of the resolution of the picture, the method of dividing the picture into the multiple regions, and the processing capabilities of the multiple decoding units.

これによれば、受信装置は、各領域の符号化データを複数の復号部に適切に割り当てることができる。 This allows the receiving device to appropriately allocate the encoded data for each region to multiple decoding units.

また、本発明の一態様に係る送信装置は、ピクチャを複数の領域に分割する分割部と、前記複数の領域の各々を独立して復号が可能なように符号化することで、前記複数の領域の各々に対応する符号化データを生成する符号化部と、生成された複数の前記符号化データを、複数のパケットに格納するパケット化部と、前記複数のパケットを送信する送信部とを備え、前記パケット化部は、一つの前記パケットに、異なる前記領域に対応する前記符号化データが格納されないように、前記複数の符号化データを前記複数のパケットに格納する。 A transmitting device according to one aspect of the present invention includes a division unit that divides a picture into a plurality of regions, an encoding unit that generates encoded data corresponding to each of the plurality of regions by encoding each of the plurality of regions so that each of the plurality of regions can be decoded independently, a packetization unit that stores the generated plurality of encoded data in a plurality of packets, and a transmitting unit that transmits the plurality of packets, and the packetization unit stores the plurality of encoded data in the plurality of packets such that the encoded data corresponding to different regions is not stored in one packet.

これによれば、各領域の符号化データが異なるパケットに格納されるので、受信装置は、パケットのペイロードに格納された符号化データを解析することなく、当該パケットに格納されているデータが、どの領域の符号化データであるかを判定できる。これにより、受信装置は、各復号部の復号対象データの生成処理を少ない処理量で行うことができる。このように、受信装置における復号対象データの生成に係る処理量が低減される。 With this, the encoded data for each region is stored in a different packet, so the receiving device can determine which region's encoded data the data stored in the packet is from without analyzing the encoded data stored in the packet's payload. This allows the receiving device to perform the process of generating data to be decoded by each decoding section with a small amount of processing. In this way, the amount of processing involved in generating data to be decoded in the receiving device is reduced.

また、本発明の一態様に係る受信装置は、ピクチャが分割されることにより得られた複数の領域が、独立して復号が可能なように符号化されることで得られた複数の符号化データが、異なる前記領域の前記符号化データが一つのパケットに格納されないようにパケット化されることで得られた複数のパケットを受信する受信部と、前記複数のパケットのいずれかに含まれる、前記ピクチャ内の全ての復号単位に対して共通に用いられる制御情報と、前記複数の領域の前記複数の符号化データの各々とを結合することで、複数の結合データを生成する結合部と、前記複数の結合データを並列に復号する複数の復号部とを備える。 A receiving device according to one aspect of the present invention includes a receiving unit that receives multiple packets obtained by encoding multiple regions obtained by dividing a picture so that the multiple regions can be decoded independently, and packetizing the multiple encoded data obtained by the division so that the encoded data of different regions is not stored in a single packet; a combining unit that generates multiple combined data by combining control information included in any of the multiple packets and commonly used for all decoding units in the picture with each of the multiple encoded data of the multiple regions; and multiple decoding units that decode the multiple combined data in parallel.

これによれば、各領域の符号化データが異なるパケットに格納されるので、受信装置は、パケットのペイロードに格納された符号化データを解析することなく、当該パケットに格納されているデータが、どの領域の符号化データであるかを判定できる。これにより、受信装置は、各復号部の復号対象データの生成処理を少ない処理量で行うことができる。このように、受信装置における復号対象データの生成に係る処理量が低減される。 With this, the encoded data for each region is stored in a different packet, so the receiving device can determine which region's encoded data the data stored in the packet is from without analyzing the encoded data stored in the packet's payload. This allows the receiving device to perform the process of generating data to be decoded by each decoding section with a small amount of processing. In this way, the amount of processing involved in generating data to be decoded in the receiving device is reduced.

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 These comprehensive or specific aspects may be realized as a system, a method, an integrated circuit, a computer program, or a computer-readable recording medium such as a CD-ROM, or may be realized as any combination of a system, a method, an integrated circuit, a computer program, and a recording medium.

以下、実施の形態について、図面を参照しながら具体的に説明する。 The following describes the embodiment in detail with reference to the drawings.

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 The embodiments described below each show a specific example of the present invention. The numerical values, shapes, materials, components, component placement and connection forms, steps, and order of steps shown in the following embodiments are merely examples and are not intended to limit the present invention. Furthermore, among the components in the following embodiments, components that are not described in an independent claim that shows the highest concept are described as optional components.

（実施の形態）
以下では、動画像の符号化方式としてＨ．２６５を用いる場合を例に説明するが、Ｈ．２６４など他の符号化方式を用いる場合にも本実施の形態を適用できる。 (Embodiment)
In the following, an example will be described in which H.265 is used as the video encoding method, but this embodiment can also be applied to cases in which other encoding methods such as H.264 are used.

図３は、本実施の形態におけるアクセスユニット（ピクチャ）を分割単位に分割した例を示す図である。アクセスユニットは、Ｈ．２６５によって導入されたタイルと呼ばれる機能により、水平及び垂直方向にそれぞれ２等分され、合計４つのタイルに分割される。また、スライスセグメントとタイルは１対１に対応付けられる。 Figure 3 shows an example of dividing an access unit (picture) into division units in this embodiment. The access unit is divided into two equal parts horizontally and vertically, into a total of four tiles, by a function called tiles introduced by H.265. Also, there is a one-to-one correspondence between slice segments and tiles.

このように水平及び垂直方向に２等分する理由について説明する。まず、復号時には、一般的に水平１ラインのデータを格納するラインメモリが必要となるが、８Ｋ４Ｋなどの超高解像度になると、水平方向のサイズが大きくなるためラインメモリのサイズが増加する。受信装置の実装においては、ラインメモリのサイズを低減できることが望ましい。ラインメモリのサイズを低減するためには垂直方向の分割が必要となる。垂直方向の分割にはタイルというデータ構造が必要である。これらの理由により、タイルが用いられる。 The reason for dividing the data into two equal parts horizontally and vertically will be explained below. First, when decoding, a line memory is generally required to store one horizontal line of data, but when it comes to ultra-high resolution such as 8K4K, the horizontal size becomes large, so the size of the line memory increases. When implementing a receiving device, it is desirable to be able to reduce the size of the line memory. In order to reduce the size of the line memory, vertical division is necessary. A data structure called a tile is required for vertical division. For these reasons, tiles are used.

一方で、画像は一般的に水平方向の相関が高いため、水平方向に広い範囲を参照できるほうが符号化効率は向上する。従って、符号化効率の観点ではアクセスユニットが水平方向に分割されることが望ましい。 On the other hand, images generally have high correlation in the horizontal direction, so coding efficiency improves when a wider range can be referenced horizontally. Therefore, from the viewpoint of coding efficiency, it is desirable to divide the access unit horizontally.

アクセスユニットが水平及び垂直方向に２等分されることで、これら２つの特性を両立させ、実装面、及び符号化効率の両面を考慮できる。単一の復号器が４Ｋ２Ｋの動画像を実時間での復号が可能の場合には、８Ｋ４Ｋの画像が４等分され、各々のスライスセグメントが４Ｋ２Ｋとなるように分割されることで、受信装置は、８Ｋ４Ｋの画像を実時間で復号できる。 By dividing the access unit into two equal parts horizontally and vertically, these two characteristics can be achieved simultaneously, and both implementation and coding efficiency can be taken into consideration. If a single decoder is capable of decoding 4K2K video images in real time, then an 8K4K image can be divided into four equal parts, and each slice segment can be divided into 4K2K, allowing the receiving device to decode the 8K4K image in real time.

次に、アクセスユニットが水平及び垂直方向に分割されることで得られたタイルとスライスセグメントとを１対１に対応付ける理由について説明する。Ｈ．２６５においては、アクセスユニットは複数のＮＡＬ（Ｎｅｔｗｏｒｋ Ａｄａｐｔａｔｉｏｎ Ｌａｙｅｒ）ユニットと呼ばれる単位から構成される。 Next, we will explain why tiles obtained by dividing an access unit in the horizontal and vertical directions correspond one-to-one to slice segments. In H.265, an access unit is composed of multiple units called NAL (Network Adaptation Layer) units.

ＮＡＬユニットのペイロードは、アクセスユニットの開始位置を示すアクセスユニットデリミタ、シーケンス単位で共通に用いられる復号時の初期化情報であるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャ内で共通に用いられる復号時の初期化情報であるＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、復号処理自体には不要であるが復号結果の処理及び表示などにおいて必要となるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）、並びに、スライスセグメントの符号化データなどのいずれかを格納する。ＮＡＬユニットのヘッダは、ペイロードに格納されるデータを識別するためのタイプ情報を含む。 The payload of a NAL unit stores any of the following: an access unit delimiter that indicates the start position of an access unit; a sequence parameter set (SPS), which is initialization information used commonly by sequence unit during decoding; a picture parameter set (PPS), which is initialization information used commonly within a picture during decoding; supplemental enhancement information (SEI), which is not required for the decoding process itself but is required for processing and displaying the decoding results; and encoded data of a slice segment. The header of the NAL unit contains type information for identifying the data stored in the payload.

ここで、送信装置は、符号化データをＭＰＥＧ－２ ＴＳ、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）、ＭＰＥＧ ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）、又は、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）などの多重化フォーマットによって多重化する際には、基本単位をＮＡＬユニットに設定できる。１つのスライスセグメントを１つのＮＡＬユニットに格納するためには、アクセスユニットを領域に分割する際に、スライスセグメント単位に分割することが望ましい。このような理由から、送信装置は、タイルとスライスセグメントとを１対１に対応付ける。 When the transmitting device multiplexes the encoded data using a multiplexing format such as MPEG-2 TS, MMT (MPEG Media Transport), MPEG DASH (Dynamic Adaptive Streaming over HTTP), or RTP (Real-time Transport Protocol), the basic unit can be set to the NAL unit. In order to store one slice segment in one NAL unit, it is desirable to divide the access unit into slice segment units when dividing the access unit into regions. For this reason, the transmitting device associates tiles with slice segments in a one-to-one relationship.

なお、図４に示すように、送信装置は、タイル１からタイル４までをまとめて１つのスライスセグメントに設定することも可能である。しかし、この場合には、１つのＮＡＬユニットに全てのタイルが格納されることになり、受信装置が、多重化レイヤにおいてタイルを分離することが困難である。 As shown in FIG. 4, the transmitting device can also set tiles 1 to 4 together as one slice segment. In this case, however, all tiles are stored in one NAL unit, making it difficult for the receiving device to separate the tiles in the multiplexing layer.

なお、スライスセグメントには独立に復号可能な独立スライスセグメントと、独立スライスセグメントを参照する参照スライスセグメントとが存在するが、ここでは独立スライスセグメントが用いられる場合を説明する。 Note that there are two types of slice segments: independent slice segments that can be decoded independently, and reference slice segments that reference independent slice segments. Here, we will explain the case where independent slice segments are used.

図５は、図３に示すようにタイルとスライスセグメントとの境界が一致するように分割されたアクセスユニットのデータの例を示す図である。アクセスユニットのデータは、先頭に配置されたアクセスユニットデリミタが格納されるＮＡＬユニットと、その後に配置されるＳＰＳ、ＰＰＳ、及びＳＥＩのＮＡＬユニットと、その後に配置されるタイル１からタイル４までのデータが格納されたスライスセグメントのデータとを含む。なお、アクセスユニットのデータは、ＳＰＳ、ＰＰＳ及びＳＥＩのＮＡＬユニットの一部又は全てを含まなくてもよい。 Figure 5 is a diagram showing an example of data of an access unit that has been divided so that the boundaries between tiles and slice segments coincide as shown in Figure 3. The data of the access unit includes a NAL unit in which an access unit delimiter is stored, which is placed at the beginning, followed by NAL units of SPS, PPS, and SEI, and data of a slice segment in which data from tiles 1 to 4 is stored, which is placed after that. Note that the data of the access unit does not have to include some or all of the NAL units of SPS, PPS, and SEI.

次に、本実施の形態に係る送信装置１００の構成を説明する。図６は、本実施の形態に係る送信装置１００の構成例を示すブロック図である。この送信装置１００は、符号化部１０１と、多重化部１０２と、変調部１０３と、送信部１０４とを備える。 Next, the configuration of the transmitting device 100 according to this embodiment will be described. FIG. 6 is a block diagram showing an example of the configuration of the transmitting device 100 according to this embodiment. This transmitting device 100 includes an encoding unit 101, a multiplexing unit 102, a modulation unit 103, and a transmitting unit 104.

符号化部１０１は、入力画像を、例えば、Ｈ．２６５に従い符号化することで符号化データを生成する。また、符号化部１０１は、例えば、図３に示すように、アクセスユニットを４つのスライスセグメント（タイル）に分割し、各スライスセグメントを符号化する。 The encoding unit 101 generates encoded data by encoding the input image, for example, according to H.265. In addition, the encoding unit 101 divides an access unit into four slice segments (tiles) and encodes each slice segment, for example, as shown in FIG. 3.

多重化部１０２は、符号化部１０１により生成された符号化データを多重化する。変調部１０３は、多重化により得られたデータを変調する。送信部１０４は、変調後のデータを放送信号として送信する。 The multiplexing unit 102 multiplexes the encoded data generated by the encoding unit 101. The modulation unit 103 modulates the data obtained by the multiplexing. The transmission unit 104 transmits the modulated data as a broadcast signal.

次に、本実施の形態に係る受信装置２００の構成を説明する。図７は、本実施の形態に係る受信装置２００の構成例を示すブロック図である。この受信装置２００は、チューナー２０１と、復調部２０２と、逆多重化部２０３と、複数の復号部２０４Ａ～２０４Ｄと、表示部２０５とを備える。 Next, the configuration of the receiving device 200 according to this embodiment will be described. FIG. 7 is a block diagram showing an example of the configuration of the receiving device 200 according to this embodiment. This receiving device 200 includes a tuner 201, a demodulation unit 202, a demultiplexing unit 203, a plurality of decoding units 204A to 204D, and a display unit 205.

チューナー２０１は、放送信号を受信する。復調部２０２は、受信された放送信号を復調する。復調後のデータは逆多重化部２０３に入力される。 The tuner 201 receives a broadcast signal. The demodulation unit 202 demodulates the received broadcast signal. The demodulated data is input to the demultiplexing unit 203.

逆多重化部２０３は、復調後のデータを分割単位に分離し、分割単位毎のデータを復号部２０４Ａ～２０４Ｄに出力する。ここで、分割単位とは、アクセスユニットが分割されることで得られた分割領域であり、例えば、Ｈ．２６５におけるスライスセグメントである。また、ここでは、８Ｋ４Ｋの画像が４つの４Ｋ２Ｋの画像に分割される。よって、４つの復号部２０４Ａ～２０４Ｄが存在する。 The demultiplexer 203 separates the demodulated data into division units, and outputs the data for each division unit to the decoders 204A to 204D. Here, a division unit is a divided area obtained by dividing an access unit, for example, a slice segment in H.265. Also, here, an 8K4K image is divided into four 4K2K images. Therefore, there are four decoders 204A to 204D.

複数の復号部２０４Ａ～２０４Ｄは、所定の基準クロックに基づいて互いに同期して動作する。各復号部は、アクセスユニットのＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）に従って分割単位の符号化データを復号し、復号結果を表示部２０５に出力する。 The multiple decoding units 204A to 204D operate in synchronization with one another based on a predetermined reference clock. Each decoding unit decodes the coded data of the division unit according to the DTS (Decoding Time Stamp) of the access unit, and outputs the decoding result to the display unit 205.

表示部２０５は、複数の復号部２０４Ａ～２０４Ｄから出力された複数の復号結果を統合することで８Ｋ４Ｋの出力画像を生成する。表示部２０５は、別途取得したアクセスユニットのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）に従って、生成された出力画像を表示する。なお、表示部２０５は、復号結果を統合する際に、タイルの境界など、互いに隣接する分割単位の境界領域において、当該境界が視覚的に目立たなくなるようにデブロックフィルタなどのフィルタ処理を行ってもよい。 The display unit 205 generates an 8K4K output image by integrating the multiple decoding results output from the multiple decoding units 204A to 204D. The display unit 205 displays the generated output image according to the PTS (Presentation Time Stamp) of the access unit obtained separately. When integrating the decoding results, the display unit 205 may perform filtering such as a deblocking filter in boundary areas between adjacent division units, such as tile boundaries, so that the boundaries are visually less noticeable.

なお、上記では、放送の送信又は受信を行う送信装置１００及び受信装置２００を例に説明したが、コンテンツは通信ネットワーク経由で送信及び受信されてもよい。受信装置２００が、通信ネットワーク経由でコンテンツを受信する場合には、受信装置２００は、イーサーネットなどのネットワークにより受信したＩＰパケットから多重化データを分離する。 In the above, the transmitting device 100 and the receiving device 200 that transmit or receive broadcasts have been described as examples, but content may be transmitted and received via a communication network. When the receiving device 200 receives content via a communication network, the receiving device 200 separates the multiplexed data from IP packets received via a network such as Ethernet.

放送においては、放送信号が送信されてから受信装置２００に届くまでの間の伝送路遅延は一定である。一方、インターネットなどの通信ネットワークにおいては輻輳の影響により、サーバーから送信されたデータが受信装置２００に届くまでの伝送路遅延は一定でない。従って、受信装置２００は、放送のＭＰＥＧ－２ ＴＳにおけるＰＣＲのような基準クロックに基づいた厳密な同期再生を行わないことが多い。そのため、受信装置２００は、各復号部を厳密に同期させることはせずに、表示部において８Ｋ４Ｋの出力画像をＰＴＳに従って表示してもよい。 In broadcasting, the transmission path delay from when the broadcast signal is transmitted until it reaches the receiving device 200 is constant. On the other hand, in a communication network such as the Internet, due to the effects of congestion, the transmission path delay from when the data transmitted from the server reaches the receiving device 200 is not constant. Therefore, the receiving device 200 often does not perform strictly synchronized playback based on a reference clock such as the PCR in the MPEG-2 TS of the broadcast. Therefore, the receiving device 200 may display the 8K4K output image on the display unit according to the PTS, without strictly synchronizing each decoding unit.

また、通信ネットワークの輻輳などにより、全ての分割単位の復号処理がアクセスユニットのＰＴＳで示される時刻において完了していない場合がある。この場合には、受信装置２００は、アクセスユニットの表示をスキップする、又は、少なくとも４つの分割単位の復号が終了し、８Ｋ４Ｋの画像の生成が完了するまで表示を遅延させる。 In addition, due to congestion in the communication network, etc., the decoding process for all division units may not be completed by the time indicated by the PTS of the access unit. In this case, the receiving device 200 skips displaying the access unit, or delays displaying until decoding of at least four division units is completed and generation of the 8K4K image is completed.

なお、放送と通信とを併用してコンテンツが送信及び受信されてもよい。また、ハードディスク又はメモリなどの記録媒体に格納された多重化データを再生する際にも本手法を適用可能である。 Note that content may be transmitted and received using a combination of broadcasting and communication. This method can also be applied when playing back multiplexed data stored on a recording medium such as a hard disk or memory.

次に、多重化方式としてＭＭＴが用いられる場合の、スライスセグメントに分割されたアクセスユニットの多重化方法にについて説明する。 Next, we will explain how to multiplex access units divided into slice segments when MMT is used as the multiplexing method.

図８は、ＨＥＶＣのアクセスユニットのデータを、ＭＭＴにパケット化する際の例を示す図である。ＳＰＳ、ＰＰＳ及びＳＥＩなどはアクセスユニットに必ずしも含まれる必要はないが、ここでは存在する場合について例示する。 Figure 8 shows an example of packetizing data of an HEVC access unit into MMT. SPS, PPS, SEI, etc. do not necessarily need to be included in the access unit, but here we will show an example in which they are present.

アクセスユニットデリミタ、ＳＰＳ、ＰＰＳ、及びＳＥＩなどのアクセスユニット内で先頭のスライスセグメントよりも前に配置されるＮＡＬユニットは一纏めにしてＭＭＴパケット＃１に格納される。後続のスライスセグメントは、スライスセグメント毎に別々のＭＭＴパケットに格納される。 NAL units that are located before the first slice segment in an access unit, such as the access unit delimiter, SPS, PPS, and SEI, are stored together in MMT packet #1. Subsequent slice segments are stored in separate MMT packets for each slice segment.

なお、図９に示すように、アクセスユニット内で先頭のスライスセグメントよりも前に配置されるＮＡＬユニットが、先頭のスライスセグメントと同一のＭＭＴパケットに格納されてもよい。 As shown in FIG. 9, a NAL unit that is placed before the first slice segment in an access unit may be stored in the same MMT packet as the first slice segment.

また、シーケンス又はストリームの終端を示す、Ｅｎｄ－ｏｆ－Ｓｅｑｕｅｎｃｅ又はＥｎｄ－ｏｆ－ＢｉｔｓｔｒｅａｍなどのＮＡＬユニットが最終スライスセグメントの後に付加される場合には、これらは、最終スライスセグメントと同一のＭＭＴパケットに格納される。ただし、Ｅｎｄ－ｏｆ－Ｓｅｑｕｅｎｃｅ又はＥｎｄ－ｏｆ－ＢｉｔｓｔｒｅａｍなどのＮＡＬユニットは、復号処理の終了ポイント、又は２本のストリームの接続ポイントなどに挿入されるため、受信装置２００が、これらのＮＡＬユニットを、多重化レイヤにおいて容易に取得できることが望ましい場合がある。この場合には、これらのＮＡＬユニットは、スライスセグメントとは別のＭＭＴパケットに格納されてもよい。これにより、受信装置２００は、多重化レイヤにおいてこれらのＮＡＬユニットを容易に分離できる。 In addition, when a NAL unit such as End-of-Sequence or End-of-Bitstream, which indicates the end of a sequence or stream, is added after the final slice segment, it is stored in the same MMT packet as the final slice segment. However, since NAL units such as End-of-Sequence or End-of-Bitstream are inserted at the end point of the decoding process or the connection point of two streams, it may be desirable for the receiving device 200 to easily obtain these NAL units in the multiplexing layer. In this case, these NAL units may be stored in a different MMT packet from the slice segments. This allows the receiving device 200 to easily separate these NAL units in the multiplexing layer.

なお、多重化方式として、ＴＳ、ＤＡＳＨ又はＲＴＰなどが用いられてもよい。これらの方式においても、送信装置１００は、異なるスライスセグメントをそれぞれ異なるパケットに格納する。これにより、受信装置２００が多重化レイヤにおいてスライスセグメントを分離できることを保証できる。 Note that TS, DASH, RTP, or the like may be used as the multiplexing method. In these methods, the transmitting device 100 stores different slice segments in different packets. This ensures that the receiving device 200 can separate the slice segments at the multiplexing layer.

例えば、ＴＳが用いられる場合、スライスセグメント単位で符号化データがＰＥＳパケット化される。ＲＴＰが用いられる場合、スライスセグメント単位で符号化データがＲＴＰパケット化される。これらの場合においても、図８に示すＭＭＴパケット＃１のように、スライスセグメントよりも前に配置されるＮＡＬユニットとスライスセグメントとが別々にパケット化されてもよい。 For example, when TS is used, the encoded data is packetized into PES packets on a slice segment basis. When RTP is used, the encoded data is packetized into RTP packets on a slice segment basis. Even in these cases, the NAL units and slice segments that are placed before the slice segments may be packetized separately, as in MMT packet #1 shown in FIG. 8.

ＴＳが用いられる場合、送信装置１００は、ｄａｔａ ａｌｉｇｎｍｅｎｔ記述子を用いることなどにより、ＰＥＳパケットに格納されるデータの単位を示す。また、ＤＡＳＨはセグメントと呼ばれるＭＰ４形式のデータ単位をＨＴＴＰなどによりダウンロードする方式であるため、送信装置１００は、送信にあたって符号化データのパケット化は行わない。このため、送信装置１００は、受信装置２００がＭＰ４において多重化レイヤでスライスセグメントを検出できるように、スライスセグメント単位でサブサンプルを作成し、サブサンプルの格納位置を示す情報をＭＰ４のヘッダに格納してもよい。 When TS is used, the transmitting device 100 indicates the unit of data stored in the PES packet by using a data alignment descriptor, for example. Also, since DASH is a method of downloading MP4 format data units called segments via HTTP, the transmitting device 100 does not packetize the encoded data when transmitting. For this reason, the transmitting device 100 may create subsamples in slice segment units and store information indicating the storage position of the subsamples in the MP4 header so that the receiving device 200 can detect slice segments at the multiplexing layer in the MP4.

以下、スライスセグメントのＭＭＴパケット化について、詳細に説明する。 The MMT packetization of slice segments is explained in detail below.

図８に示すように、符号化データがパケット化されることで、ＳＰＳ及びＰＰＳなどのアクセスユニット内の全スライスセグメントの復号時に共通に参照されるデータがＭＭＴパケット＃１に格納される。この場合、受信装置２００は、ＭＭＴパケット＃１のペイロードデータと各スライスセグメントのデータとを連結し、得られたデータを復号部に出力する。このように、受信装置２００は、複数のＭＭＴパケットのペイロードを連結することで、復号部への入力データを容易に生成できる。 As shown in FIG. 8, by packetizing the encoded data, data that is commonly referenced when decoding all slice segments in an access unit, such as SPS and PPS, is stored in MMT packet #1. In this case, receiving device 200 concatenates the payload data of MMT packet #1 with the data of each slice segment, and outputs the obtained data to the decoding unit. In this way, receiving device 200 can easily generate input data for the decoding unit by concatenating the payloads of multiple MMT packets.

図１０は、図８に示すＭＭＴパケットから復号部２０４Ａ～２０４Ｄへの入力データが生成される例を示す図である。逆多重化部２０３は、ＭＭＴパケット＃１とＭＭＴパケット＃２とのペイロードデータを連結させることで、復号部２０４Ａが、スライスセグメント１を復号するために必要なデータを生成する。逆多重化部２０３は、復号部２０４Ｂから復号部２０４Ｄについても、同様に入力データを生成する。つまり、逆多重化部２０３は、ＭＭＴパケット＃１とＭＭＴパケット＃３とのペイロードデータを連結させることで、復号部２０４Ｂの入力データを生成する。逆多重化部２０３は、ＭＭＴパケット＃１とＭＭＴパケット＃４とのペイロードデータを連結させることで、復号部２０４Ｃの入力データを生成する。逆多重化部２０３は、ＭＭＴパケット＃１とＭＭＴパケット＃５とのペイロードデータを連結させることで、復号部２０４Ｄの入力データを生成する。 Figure 10 is a diagram showing an example in which input data to the decoders 204A to 204D is generated from the MMT packets shown in Figure 8. The demultiplexer 203 generates data necessary for the decoder 204A to decode slice segment 1 by linking the payload data of MMT packet #1 and MMT packet #2. The demultiplexer 203 similarly generates input data for the decoders 204B to 204D. That is, the demultiplexer 203 generates input data for the decoder 204B by linking the payload data of MMT packet #1 and MMT packet #3. The demultiplexer 203 generates input data for the decoder 204C by linking the payload data of MMT packet #1 and MMT packet #4. The demultiplexer 203 generates input data for the decoder 204D by linking the payload data of MMT packet #1 and MMT packet #5.

なお、逆多重化部２０３は、アクセスユニットデリミタ及びＳＥＩなど、復号処理に必要ではないＮＡＬユニットを、ＭＭＴパケット＃１のペイロードデータから除去し、復号処理に必要であるＳＰＳ及びＰＰＳのＮＡＬユニットのみを分離してスライスセグメントのデータに付加してもよい。 In addition, the demultiplexer 203 may remove NAL units that are not necessary for the decoding process, such as the access unit delimiter and SEI, from the payload data of MMT packet #1, and separate only the SPS and PPS NAL units that are necessary for the decoding process and add them to the slice segment data.

図９に示すように符号化データがパケット化される場合には、逆多重化部２０３は、多重化レイヤにおいてアクセスユニットの先頭データを含むＭＭＴパケット＃１を1番目の復号部２０４Ａに出力する。また、逆多重化部２０３は、多重化レイヤにおいてアクセスユニットの先頭データを含むＭＭＴパケットを解析し、ＳＰＳ及びＰＰＳのＮＡＬユニットを分離し、分離したＳＰＳ及びＰＰＳのＮＡＬユニットを２番目以降のスライスセグメントのデータの各々に付加することで２番目以降の復号部の各々に対する入力データを生成する。 When the encoded data is packetized as shown in FIG. 9, the demultiplexer 203 outputs MMT packet #1, which includes the first data of the access unit in the multiplexing layer, to the first decoder 204A. The demultiplexer 203 also analyzes the MMT packet, which includes the first data of the access unit in the multiplexing layer, separates the SPS and PPS NAL units, and adds the separated SPS and PPS NAL units to each of the data of the second and subsequent slice segments to generate input data for each of the second and subsequent decoders.

さらに、受信装置２００が、ＭＭＴパケットのヘッダに含まれる情報を用いて、ＭＭＴペイロードに格納されるデータのタイプ、及び、ペイロードにスライスセグメントが格納されている場合のアクセスユニット内における当該スライスセグメントのインデックス番号を識別できることが望ましい。ここで、データのタイプとは、スライスセグメント前データ（アクセスユニット内で先頭スライスセグメントよりも前に配置されるＮＡＬユニットをまとめて、このように呼ぶことにする）、及び、スライスセグメントのデータのいずれである。ＭＭＴパケットに、スライスセグメントなどのＭＰＵをフラグメント化した単位を格納する場合には、ＭＦＵ（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）を格納するためのモードが用いられる。送信装置１００は、本モードを用いる場合には、例えば、ＭＦＵにおけるデータの基本単位であるＤａｔａ Ｕｎｉｔを、サンプル（ＭＭＴにおけるデータ単位であり、アクセスユニットに相当する）、又は、サブサンプル（サンプルを分割した単位）に設定できる。 Furthermore, it is desirable that the receiving device 200 can use information contained in the header of the MMT packet to identify the type of data stored in the MMT payload and the index number of the slice segment in the access unit when the slice segment is stored in the payload. Here, the type of data is either pre-slice segment data (the NAL units arranged before the first slice segment in the access unit are collectively referred to as such) or slice segment data. When storing a unit obtained by fragmenting an MPU such as a slice segment in an MMT packet, a mode for storing MFU (Media Fragment Unit) is used. When using this mode, the transmitting device 100 can set, for example, the Data Unit, which is the basic unit of data in the MFU, to a sample (a data unit in MMT, equivalent to an access unit) or a subsample (a unit obtained by dividing a sample).

このとき、ＭＭＴパケットのヘッダは、Ｆｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒと呼ばれるフィールドと、Ｆｒａｇｍｅｎｔ ｃｏｕｎｔｅｒと呼ばれるフィールドとを含む。 At this time, the header of the MMT packet includes a field called a fragmentation indicator and a field called a fragment counter.

Ｆｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒは、ＭＭＴパケットのペイロードに格納されるデータが、Ｄａｔａ ｕｎｉｔをフラグメント化したものであるかどうか、フラグメント化したものである場合には、当該フラグメントがＤａｔａ ｕｎｉｔにおける先頭或いは最終のフラグメント、又は、先頭と最終とのどちらでもないフラグメントであるかを示す。言い換えると、あるパケットのヘッダに含まれるＦｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒは、（１）基本データ単位であるＤａｔａ ｕｎｉｔに当該パケットのみが含まれる、（２）Ｄａｔａ ｕｎｉｔが複数のパケットに分割して格納され、かつ、当該パケットがＤａｔａ ｕｎｉｔの先頭のパケットである、（３）Ｄａｔａ ｕｎｉｔが複数のパケットに分割して格納され、かつ、当該パケットがＤａｔａ ｕｎｉｔの先頭及び最後以外のパケットである、及び、（４）Ｄａｔａ ｕｎｉｔが複数のパケットに分割して格納され、かつ、当該パケットがＤａｔａ ｕｎｉｔの最後のパケットである、のいずれであるかを示す識別情報である。 The Fragmentation indicator indicates whether the data stored in the payload of an MMT packet is a fragment of a Data unit, and if so, whether the fragment is the first or last fragment in the Data unit, or a fragment that is neither the first nor the last. In other words, the Fragmentation indicator included in the header of a packet is identification information that indicates whether (1) only the packet is included in the Data unit, which is the basic data unit, (2) the Data unit is divided and stored into multiple packets, and the packet is the first packet of the Data unit, (3) the Data unit is divided and stored into multiple packets, and the packet is a packet other than the first or last packet of the Data unit, or (4) the Data unit is divided and stored into multiple packets, and the packet is the last packet of the Data unit.

Ｆｒａｇｍｅｎｔ ｃｏｕｎｔｅｒは、ＭＭＴパケットに格納されるデータが、Ｄａｔａ ｕｎｉｔにおいて何番目のフラグメントに相当するかを示すインデックス番号である。 The fragment counter is an index number that indicates which fragment in the data unit the data stored in the MMT packet corresponds to.

従って、送信装置１００が、ＭＭＴにおけるサンプルをＤａｔａ ｕｎｉｔに設定し、スライスセグメント前データ、及び、各スライスセグメントを、それぞれＤａｔａ ｕｎｉｔのフラグメント単位に設定することで、受信装置２００は、ＭＭＴパケットのヘッダに含まれる情報を用いて、ペイロードに格納されるデータのタイプが識別できる。つまり、逆多重化部２０３は、ＭＭＴパケットのヘッダを参照して、各復号部２０４Ａ～２０４Ｄへの入力データを生成できる。 Therefore, by the transmitting device 100 setting the samples in the MMT to Data units and setting the data before the slice segment and each slice segment to fragment units of Data units, the receiving device 200 can identify the type of data stored in the payload using the information contained in the header of the MMT packet. In other words, the demultiplexing unit 203 can generate input data for each of the decoding units 204A to 204D by referring to the header of the MMT packet.

図１１は、サンプルがＤａｔａ ｕｎｉｔに設定され、スライスセグメント前データ、及び、スライスセグメントがＤａｔａ ｕｎｉｔのフラグメントとしてパケット化される場合の例を示す図である。 Figure 11 shows an example where a sample is set to a Data unit, and pre-slice segment data and slice segments are packetized as fragments of Data units.

スライスセグメント前データ、及びスライスセグメントは、フラグメント＃１からフラグメント＃５までの５つのフラグメントに分割される。各フラグメントは個別のＭＭＴパケットに格納される。このとき、ＭＭＴパケットのヘッダに含まれるＦｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒ及びＦｒａｇｍｅｎｔ ｃｏｕｎｔｅｒの値は図示する通りである。 The pre-slice segment data and the slice segment are divided into five fragments, fragment #1 to fragment #5. Each fragment is stored in an individual MMT packet. At this time, the values of the Fragmentation indicator and Fragment counter included in the header of the MMT packet are as shown in the figure.

例えば、Ｆｒａｇｍｅｎｔ ｉｎｄｉｃａｔｏｒは、２進数の２ビット値である。Ｄａｔａ ｕｎｉｔの先頭であるＭＭＴパケット＃１のＦｒａｇｍｅｎｔ ｉｎｄｉｃａｔｏｒ、最終であるＭＭＴパケット＃５のＦｒａｇｍｅｎｔ ｉｎｄｉｃａｔｏｒ、及び、その間のパケットであるＭＭＴパケット＃２からＭＭＴパケット＃４までのＦｒａｇｍｅｎｔ ｉｎｄｉｃａｔｏｒは、それぞれ別の値に設定される。具体的には、Ｄａｔａ ｕｎｉｔの先頭であるＭＭＴパケット＃１のＦｒａｇｍｅｎｔ ｉｎｄｉｃａｔｏｒは０１に設定され、最終であるＭＭＴパケット＃５のＦｒａｇｍｅｎｔ ｉｎｄｉｃａｔｏｒは１１に設定され、その間のパケットであるＭＭＴパケット＃２からＭＭＴパケット＃４までのＦｒａｇｍｅｎｔ ｉｎｄｉｃａｔｏｒは１０に設定される。なお、Ｄａｔａ ｕｎｉｔに一つのＭＭＴパケットのみが含まれる場合には、Ｆｒａｇｍｅｎｔ ｉｎｄｉｃａｔｏｒは００に設定される。 For example, the Fragment indicator is a 2-bit binary value. The Fragment indicator of MMT packet #1, which is the head of the Data unit, the Fragment indicator of MMT packet #5, which is the last packet, and the Fragment indicators of MMT packets #2 to #4, which are packets in between, are each set to a different value. Specifically, the Fragment indicator of MMT packet #1, which is the head of the Data unit, is set to 01, the Fragment indicator of MMT packet #5, which is the last packet, is set to 11, and the Fragment indicators of MMT packets #2 to #4, which are packets in between, are set to 10. If a Data unit contains only one MMT packet, the Fragment indicator is set to 00.

また、Ｆｒａｇｍｅｎｔ ｃｏｕｎｔｅｒは、ＭＭＴパケット＃１においてはフラグメントの総数である５から１を減算した値である４であり、後続パケットにおいては順に１ずつ減少し、最後のＭＭＴパケット＃５においては０である。 Fragment counter is 4 in MMT packet #1, which is the total number of fragments (5) minus 1, and is decreased by 1 in each of the subsequent packets, until it is 0 in the final MMT packet #5.

従って、受信装置２００は、スライスセグメント前データを格納するＭＭＴパケットを、Ｆｒａｇｍｅｎｔ ｉｎｄｉｃａｔｏｒ、及び、Ｆｒａｇｍｅｎｔ ｃｏｕｎｔｅｒのいずれかを用いて識別できる。また、受信装置２００は、Ｎ番目のスライスセグメントを格納するＭＭＴパケットを、Ｆｒａｇｍｅｎｔ ｃｏｕｎｔｅｒを参照することにより識別できる。 Therefore, the receiving device 200 can identify the MMT packet that stores the pre-slice segment data by using either the fragment indicator or the fragment counter. The receiving device 200 can also identify the MMT packet that stores the Nth slice segment by referring to the fragment counter.

ＭＭＴパケットのヘッダは、別途、Ｄａｔａ ｕｎｉｔが属するＭｏｖｉｅ ＦｒａｇｍｅｎｔのＭＰＵ内でのシーケンス番号と、ＭＰＵ自体のシーケンス番号と、Ｄａｔａ ｕｎｉｔが属するサンプルのＭｏｖｉｅ Ｆｒａｇｍｅｎｔ内におけるシーケンス番号とを含む。逆多重化部２０３は、これらを参照することで、Ｄａｔａ ｕｎｉｔが属するサンプルを一意に決定できる。 The header of the MMT packet also includes a sequence number within the MPU of the Movie Fragment to which the Data unit belongs, a sequence number for the MPU itself, and a sequence number within the Movie Fragment of the sample to which the Data unit belongs. By referring to these, the demultiplexer 203 can uniquely determine the sample to which the Data unit belongs.

更に、逆多重化部２０３は、Ｄａｔａ ｕｎｉｔ内におけるフラグメントのインデックス番号をＦｒａｇｍｅｎｔ ｃｏｕｎｔｅｒなどから決定できるため、パケットロスが発生した場合にも、フラグメントに格納されるスライスセグメントを一意に特定できる。例えば、逆多重化部２０３は、図１１に示すフラグメント＃４がパケットロスにより取得できなかった場合でも、フラグメント＃３の次に受信したフラグメントがフラグメント＃５であることが分かるため、フラグメント＃５に格納されるスライスセグメント４を、復号部２０４Ｃではなく復号部２０４Ｄに正しく出力することができる。 Furthermore, since the demultiplexing unit 203 can determine the index number of the fragment within the data unit from the fragment counter, etc., it can uniquely identify the slice segment stored in the fragment even if packet loss occurs. For example, even if the demultiplexing unit 203 is unable to obtain fragment #4 shown in FIG. 11 due to packet loss, it can determine that the fragment received next after fragment #3 is fragment #5, and therefore can correctly output slice segment 4 stored in fragment #5 to decoding unit 204D instead of decoding unit 204C.

なお、パケットロスが発生しないことが保証される伝送路が使用される場合には、逆多重化部２０３は、ＭＭＴパケットのヘッダを参照してＭＭＴパケットに格納されるデータのタイプ、又はスライスセグメントのインデックス番号を決定せずに、到着したパケットを周期的に処理すればよい。例えば、アクセスユニットが、スライス前データ、及び、４つのスライスセグメントの計５つのＭＭＴパケットにより送信される場合には、受信装置２００は、復号を開始するアクセスユニットのスライス前データを決定した後は、受信したＭＭＴパケットを順に処理することで、スライス前データ、及び、４つのスライスセグメントのデータを順に取得できる。 When a transmission path that guarantees no packet loss is used, the demultiplexer 203 can process the arriving packets periodically without referring to the header of the MMT packet to determine the type of data stored in the MMT packet or the index number of the slice segment. For example, when an access unit is transmitted by a total of five MMT packets including pre-slice data and four slice segments, the receiving device 200 can obtain the pre-slice data and the data of the four slice segments in sequence by processing the received MMT packets in sequence after determining the pre-slice data of the access unit from which decoding is to be started.

以下、パケット化の変形例について説明する。 Below, we explain some variations on packetization.

スライスセグメントは、必ずしもアクセスユニットの面内を水平方向と垂直方向との両方に分割されたものである必要はなく、図１に示すように、アクセスユニットを水平方向のみに分割されたものでもよいし、垂直方向のみに分割されたものでもよい。 Slice segments do not necessarily have to be divided both horizontally and vertically within the plane of an access unit; as shown in FIG. 1, they may be divided only horizontally or only vertically.

また、水平方向のみにアクセスユニットが分割される場合には、タイルが用いられる必要はない。 Also, if the access unit is divided only horizontally, tiles do not need to be used.

また、アクセスユニットにおける面内の分割数は任意であり、４つに限定されるものではない。但し、スライスセグメント及びタイルの領域サイズはＨ．２６５などの符号化規格の下限以上である必要がある。 The number of divisions within an access unit is arbitrary and is not limited to four. However, the area size of slice segments and tiles must be equal to or greater than the lower limit of coding standards such as H.265.

送信装置１００は、アクセスユニットにおける面内の分割方法を示す識別情報を、ＭＭＴメッセージ、又はＴＳのデスクリプタなどに格納してもよい。例えば、面内における水平方向と垂直方向との分割数とをそれぞれ示す情報が格納されてもよい。または、図３に示すように水平方向及び垂直方向にそれぞれ２等分されている、又は、図１に示すように水平方向に４等分されているなど、分割方法に対して固有の識別情報が割り当てられてもよい。例えば、図３に示すようにアクセスユニットが分割されている場合は、識別情報はモード１を示し、図１に示すようにアクセスユニットが分割されている場合には、識別情報はモード１を示す。 The transmitting device 100 may store identification information indicating the division method within the surface of the access unit in an MMT message or a TS descriptor. For example, information indicating the number of divisions in the horizontal and vertical directions within the surface may be stored. Alternatively, a unique identification information may be assigned to the division method, such as dividing the access unit into two equal parts in the horizontal and vertical directions as shown in FIG. 3, or dividing the access unit into four equal parts in the horizontal direction as shown in FIG. 1. For example, if the access unit is divided as shown in FIG. 3, the identification information indicates mode 1, and if the access unit is divided as shown in FIG. 1, the identification information indicates mode 1.

また、面内の分割方法に関連する符号化条件の制約を示す情報が、多重化レイヤに含まれてもよい。例えば、１つのスライスセグメントが１つのタイルから構成されること示す情報が用いられてもよい。または、スライスセグメント或いはタイルの復号時に動き補償を行う場合の参照ブロックが、画面内の同一位置のスライスセグメント或いはタイルに制限される、又は、隣接スライスセグメントにおける所定の範囲内のブロックに限定されることなどを示す情報が用いられてもよい。 In addition, information indicating constraints on coding conditions related to the intra-plane division method may be included in the multiplexing layer. For example, information indicating that one slice segment is composed of one tile may be used. Alternatively, information indicating that the reference block when performing motion compensation during decoding of a slice segment or tile is limited to a slice segment or tile at the same position in the screen, or limited to blocks within a predetermined range in an adjacent slice segment may be used.

また、送信装置１００は、動画像の解像度に応じて、アクセスユニットを複数のスライスセグメントに分割するかどうかを切替えてもよい。例えば、送信装置１００は、処理対象の動画像が４Ｋ２Ｋの解像度の場合には面内の分割を行わずに、処理対象の動画像が８Ｋ４Ｋの場合にはアクセスユニットを４つに分割してもよい。８Ｋ４Ｋの動画像の場合の分割方法を予め規定しておくことにより、受信装置２００は、受信する動画像の解像度を取得することで、面内の分割の有無、及び分割方法を決定し、復号動作を切替えることができる。 The transmitting device 100 may also switch whether to divide an access unit into multiple slice segments depending on the resolution of the video. For example, the transmitting device 100 may not perform intra-plane division when the video to be processed has a resolution of 4K2K, but may divide the access unit into four when the video to be processed has a resolution of 8K4K. By predefining the division method for 8K4K video, the receiving device 200 can acquire the resolution of the video to be received, determine whether to perform intra-plane division and the division method, and switch the decoding operation.

また、受信装置２００は、面内の分割の有無を、ＭＭＴパケットのヘッダを参照することにより検出できる。例えば、アクセスユニットが分割されない場合には、ＭＭＴのＤａｔａ ｕｎｉｔがサンプルに設定されていれば、Ｄａｔａ ｕｎｉｔのフラグメントは行われない。従って、受信装置２００は、ＭＭＴパケットのヘッダに含まれるＦｒａｇｍｅｎｔ ｃｏｕｎｔｅｒの値が常にゼロの場合には、アクセスユニットは分割されないと判定できる。または、受信装置２００は、Ｆｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒの値が常に０１であるかどうかを検出してもよい。受信装置２００は、Ｆｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒの値が常に０１の場合もアクセスユニットは分割されないと判定できる。 Furthermore, the receiving device 200 can detect whether or not there is intra-plane division by referring to the header of the MMT packet. For example, if the access unit is not divided, if the MMT Data unit is set to a sample, the Data unit is not fragmented. Therefore, the receiving device 200 can determine that the access unit is not divided if the value of the Fragmentation counter included in the header of the MMT packet is always zero. Alternatively, the receiving device 200 may detect whether the value of the Fragmentation indicator is always 01. The receiving device 200 can also determine that the access unit is not divided if the value of the Fragmentation indicator is always 01.

また、受信装置２００は、アクセスユニットにおける面内の分割数と復号部の数とが一致しない場合にも対応できる。例えば、受信装置２００が、８Ｋ２Ｋの符号化データを実時間で復号できる２つの復号部２０４Ａ及び２０４Ｂを備える場合には、逆多重化部２０３は、復号部２０４Ａに対して、８Ｋ４Ｋの符号化データを構成する４つのスライスセグメントのうちの２つを出力する。 The receiving device 200 can also handle cases where the number of divisions within a plane in an access unit does not match the number of decoding units. For example, if the receiving device 200 has two decoding units 204A and 204B that can decode 8K2K encoded data in real time, the demultiplexing unit 203 outputs two of the four slice segments that make up the 8K4K encoded data to the decoding unit 204A.

図１２は、図８に示すようにＭＭＴパケット化されたデータが、２つの復号部２０４Ａ及び２０４Ｂに入力される場合の動作例を示す図である。ここで、受信装置２００は、復号部２０４Ａ及び２０４Ｂにおける復号結果を、そのまま統合して出力できることが望ましい。よって、逆多重化部２０３は、復号部２０４Ａ及び２０４Ｂの各々の復号結果が空間的に連続するように、復号部２０４Ａ及び２０４Ｂの各々に出力するスライスセグメントを選択する。 Figure 12 is a diagram showing an example of operation when MMT packetized data as shown in Figure 8 is input to two decoders 204A and 204B. Here, it is desirable for the receiving device 200 to be able to integrate and output the decoding results of the decoders 204A and 204B as is. Therefore, the demultiplexer 203 selects slice segments to output to each of the decoders 204A and 204B so that the decoding results of each of the decoders 204A and 204B are spatially continuous.

また、逆多重化部２０３は、動画像の符号化データの解像度又はフレームレートなどに応じて、使用する復号部を選択してもよい。例えば、受信装置２００が４Ｋ２Ｋの復号部を４つ備える場合には、入力画像の解像度が８Ｋ４Ｋであれば、受信装置２００は、４つ全ての復号部を用いて復号処理を行う。また、受信装置２００は、入力画像の解像度が４Ｋ２Ｋであれば１つの復号部のみを用いて復号処理を行う。または、逆多重化部２０３は、面内が４つに分割されていても、８Ｋ４Ｋを単一の復号部により実時間で復号できる場合には、全ての分割単位を統合して一つの復号部に出力する。 The demultiplexer 203 may select a decoder to use depending on the resolution or frame rate of the encoded data of the video. For example, if the receiving device 200 has four 4K2K decoders, and the resolution of the input image is 8K4K, the receiving device 200 performs the decoding process using all four decoders. Also, if the resolution of the input image is 4K2K, the receiving device 200 performs the decoding process using only one decoder. Alternatively, even if the plane is divided into four, if 8K4K can be decoded in real time by a single decoder, the demultiplexer 203 integrates all the divided units and outputs them to one decoder.

さらに、受信装置２００は、フレームレートを考慮して使用する復号部を決定してもよい。例えば、受信装置２００が、解像度が８Ｋ４Ｋである場合に実時間で復号可能なフレームレートの上限が６０ｆｐｓである復号部を２台備える場合に、８Ｋ４Ｋで１２０ｆｐｓの符号化データが入力されるケースがある。このとき、面内が４つの分割単位から構成されるとすると、図１２の例と同様に、スライスセグメント１とスライスセグメント２とが復号部２０４Ａに入力され、スライスセグメント３とスライスセグメント４とが復号部２０４Ｂに入力される。各々の復号部２０４Ａ及び２０４Ｂは、８Ｋ２Ｋ（解像度が８Ｋ４Ｋの半分）であれば１２０ｆｐｓまで実時間で復号できるため、これら２台の復号部２０４Ａ及び２０４Ｂにより復号処理が行われる。 Furthermore, the receiving device 200 may determine the decoding unit to be used taking into consideration the frame rate. For example, if the receiving device 200 has two decoding units with an upper limit of 60 fps for the frame rate that can be decoded in real time when the resolution is 8K4K, there may be cases where 8K4K encoded data at 120 fps is input. In this case, if the plane is composed of four division units, slice segment 1 and slice segment 2 are input to the decoding unit 204A, and slice segment 3 and slice segment 4 are input to the decoding unit 204B, as in the example of FIG. 12. Since each of the decoding units 204A and 204B can decode up to 120 fps in real time if the resolution is 8K2K (half of 8K4K), the decoding process is performed by these two decoding units 204A and 204B.

また、解像度及びフレームレートが同一であっても、符号化方式におけるプロファイル、或いはレベル、又は、Ｈ．２６４或いはＨ．２６５など符号化方式自体が異なると処理量が異なる。よって、受信装置２００は、これらの情報に基づいて使用する復号部を選択してもよい。なお、受信装置２００は、放送又は通信により受信した符号化データを全て復号することができない場合、又は、ユーザーが選択した領域を構成する全てのスライスセグメント又はタイルが復号できない場合には、復号部の処理範囲内で復号可能なスライスセグメント又はタイルを自動的に決定してもよい。または、受信装置２００は、ユーザーが復号する領域を選択するためのユーザインタフェースを提供してもよい。このとき、受信装置２００は、全て領域を復号できないことを示す警告メッセージを表示してもよいし、復号可能な領域、スライスセグメント又はタイルの個数を示す情報を表示してもよい。 Even if the resolution and frame rate are the same, the processing amount differs if the profile or level in the encoding method, or the encoding method itself, such as H.264 or H.265, is different. Therefore, the receiving device 200 may select the decoding unit to be used based on this information. Note that, when the receiving device 200 cannot decode all the encoded data received by broadcasting or communication, or when it cannot decode all the slice segments or tiles that constitute the area selected by the user, it may automatically determine the slice segments or tiles that can be decoded within the processing range of the decoding unit. Alternatively, the receiving device 200 may provide a user interface for the user to select the area to be decoded. At this time, the receiving device 200 may display a warning message indicating that all areas cannot be decoded, or may display information indicating the number of areas, slice segments, or tiles that can be decoded.

また、上記方法は、同一符号化データのスライスセグメントを格納するＭＭＴパケットが、放送及び通信など複数の伝送路を用いて送信及び受信される場合にも適用できる。 The above method can also be applied when MMT packets storing slice segments of the same encoded data are transmitted and received using multiple transmission paths, such as broadcasting and communication.

また、送信装置１００は、分割単位の境界を目立たなくするために、各スライスセグメントの領域がオーバーラップするように符号化を行ってもよい。図１３に示す例では、８Ｋ４Ｋのピクチャが４つのスライスセグメント１～４に分割される。スライスセグメント１～３の各々は、例えば、８Ｋ×１．１Ｋであり、スライスセグメント４は８Ｋ×１Ｋである。また、隣接するスライスセグメントは互いにオーバーラップする。こうすることで、点線で示す４分割した場合の境界においては、符号化時の動き補償が効率的に実行できるため、境界部分の画質が向上する。このように、境界部分の画質劣化が低減される。 In addition, the transmitting device 100 may perform coding so that the areas of each slice segment overlap in order to make the boundaries between the division units less noticeable. In the example shown in FIG. 13, an 8K4K picture is divided into four slice segments 1 to 4. Each of slice segments 1 to 3 is, for example, 8K x 1.1K, and slice segment 4 is 8K x 1K. Adjacent slice segments also overlap each other. In this way, motion compensation during coding can be efficiently performed at the boundaries when divided into four, as indicated by the dotted lines, improving the image quality of the boundary parts. In this way, image quality degradation at the boundary parts is reduced.

この場合、表示部２０５は、８Ｋ×１．１Ｋの領域から、８Ｋ×１Ｋの領域を切り出し、得られた領域を統合する。なお、送信装置１００は、スライスセグメントがオーバーラップして符号化されているかどうか、及び、オーバーラップの範囲を示す情報を、多重化レイヤ、又は、符号化データ内に含めて、別途送信してもよい。 In this case, the display unit 205 cuts out an 8K x 1K area from the 8K x 1.1K area and integrates the resulting area. Note that the transmitting device 100 may separately transmit information indicating whether the slice segments are coded with overlap and the extent of the overlap, by including the information in the multiplexing layer or coded data.

なお、タイルが使用される場合にも、同様の手法を適用可能である。 Note that a similar technique can be applied when tiles are used.

以下、送信装置１００の動作の流れを説明する。図１４は、送信装置１００の動作例を示すフローチャートである。 The flow of operation of the transmitting device 100 will be described below. Figure 14 is a flowchart showing an example of the operation of the transmitting device 100.

まず、符号化部１０１は、ピクチャ（アクセスユニット）を複数の領域である複数のスライスセグメント（タイル）に分割する（Ｓ１０１）。次に、符号化部１０１は、複数のスライスセグメントの各々を独立して復号が可能なように符号化することで、複数のスライスセグメントの各々に対応する符号化データを生成する（Ｓ１０２）。なお、符号化部１０１は、複数のスライスセグメントを単一の符号化部で符号化してもよし、複数の符号化部で並列処理してもよい。 First, the encoding unit 101 divides a picture (access unit) into a plurality of slice segments (tiles), which are a plurality of regions (S101). Next, the encoding unit 101 generates encoded data corresponding to each of the plurality of slice segments by encoding each of the plurality of slice segments so that the slice segments can be decoded independently (S102). Note that the encoding unit 101 may encode the plurality of slice segments using a single encoding unit, or may process the slice segments in parallel using multiple encoding units.

次に、多重化部１０２は、符号化部１０１で生成された複数の符号化データを、複数のＭＭＴパケットに格納することで、複数の符号化データを多重化する（Ｓ１０３）。具体的には、図８及び図９に示すように、多重化部１０２は、一つのＭＭＴパケットに、異なるスライスセグメントに対応する符号化データが格納されないように、複数の符号化データを複数のＭＭＴパケットに格納する。また、多重化部１０２は、図８に示すように、ピクチャ内の全ての復号単位に対して共通に用いられる制御情報を、複数の符号化データが格納される複数のＭＭＴパケット＃２～＃５とは異なるＭＭＴパケット＃１に格納する。ここで制御情報は、アクセスユニットデリミタ、ＳＰＳ，ＰＰＳ及びＳＥＩのうち少なくとも一つを含む。 Next, the multiplexing unit 102 multiplexes the multiple encoded data generated by the encoding unit 101 by storing the multiple encoded data in multiple MMT packets (S103). Specifically, as shown in Figs. 8 and 9, the multiplexing unit 102 stores the multiple encoded data in multiple MMT packets so that encoded data corresponding to different slice segments is not stored in one MMT packet. Also, as shown in Fig. 8, the multiplexing unit 102 stores control information commonly used for all decoding units in a picture in MMT packet #1, which is different from the multiple MMT packets #2 to #5 in which the multiple encoded data are stored. Here, the control information includes at least one of an access unit delimiter, an SPS, a PPS, and an SEI.

なお、多重化部１０２は、制御情報を、複数の符号化データが格納される複数のＭＭＴパケットのいずれかと同じＭＭＴパケットに格納してもよい。例えば、図９に示すように、多重化部１０２は、制御情報を、複数の符号化データが格納される複数のＭＭＴパケットのうちの先頭のＭＭＴパケット（図９のＭＭＴパケット＃１）に格納してもよい。 In addition, the multiplexing unit 102 may store the control information in the same MMT packet as one of the multiple MMT packets in which the multiple encoded data are stored. For example, as shown in FIG. 9, the multiplexing unit 102 may store the control information in the first MMT packet (MMT packet #1 in FIG. 9) of the multiple MMT packets in which the multiple encoded data are stored.

最後に、送信装置１００は、複数のＭＭＴパケットを送信する。具体的には、変調部１０３は、多重化により得られたデータを変調し、送信部１０４は、変調後のデータを送信する（Ｓ１０４）。 Finally, the transmitting device 100 transmits multiple MMT packets. Specifically, the modulation unit 103 modulates the data obtained by multiplexing, and the transmitting unit 104 transmits the modulated data (S104).

図１５は、受信装置２００の構成例を示すブロック図であり、図７に示す逆多重化部２０３及びその後段の構成を詳細に示す図である。図１５に示すように、受信装置２００は、さらに、復号命令部２０６を備える。また、逆多重化部２０３は、タイプ判別部２１１と、制御情報取得部２１２と、スライス情報取得部２１３と、復号データ生成部２１４とを備える。 Fig. 15 is a block diagram showing an example of the configuration of the receiving device 200, and is a diagram showing in detail the configuration of the demultiplexing unit 203 and the subsequent stages shown in Fig. 7. As shown in Fig. 15, the receiving device 200 further includes a decoding command unit 206. The demultiplexing unit 203 also includes a type discrimination unit 211, a control information acquisition unit 212, a slice information acquisition unit 213, and a decoded data generation unit 214.

以下、受信装置２００の動作の流れを説明する。図１６は、受信装置２００の動作例を示すフローチャートである。ここでは、１つのアクセスユニットに対する動作を示す。複数のアクセスユニットの復号処理が実行される場合には、本フローチャートの処理が繰り返される。 The flow of operation of the receiving device 200 is explained below. Figure 16 is a flowchart showing an example of operation of the receiving device 200. Here, the operation for one access unit is shown. When decoding processing for multiple access units is performed, the processing of this flowchart is repeated.

まず、受信装置２００は、は、例えば、送信装置１００により生成された複数のパケット（ＭＭＴパケット）を受信する（Ｓ２０１）。 First, the receiving device 200 receives, for example, multiple packets (MMT packets) generated by the transmitting device 100 (S201).

次に、タイプ判別部２１１は、受信パケットのヘッダを解析することで、受信パケットに格納されている符号化データのタイプを取得する（Ｓ２０２）。 Next, the type determination unit 211 obtains the type of encoded data stored in the received packet by analyzing the header of the received packet (S202).

次に、タイプ判別部２１１は、取得された符号化データのタイプに基づき、受信パケットに格納されているデータがスライスセグメント前データであるか、スライスセグメントのデータであるかを判定する（Ｓ２０３）。 Next, the type discrimination unit 211 determines whether the data stored in the received packet is pre-slice segment data or slice segment data based on the type of the acquired encoded data (S203).

受信パケットに格納されているデータがスライスセグメント前データである場合（Ｓ２０３でＹｅｓ）、制御情報取得部２１２は、受信パケットのペイロードから処理対象のアクセスユニットのスライスセグメント前データを取得し、当該スライスセグメント前データをメモリに格納する（Ｓ２０４）。 If the data stored in the received packet is pre-slice segment data (Yes in S203), the control information acquisition unit 212 acquires the pre-slice segment data of the access unit to be processed from the payload of the received packet, and stores the pre-slice segment data in memory (S204).

一方、受信パケットに格納されているデータがスライスセグメントのデータである場合（Ｓ２０３でＮｏ）、受信装置２００は、受信パケットのヘッダ情報を用いて、当該受信パケットに格納されているデータが、複数の領域のうちいずれの領域の符号化データであるかを判定する。具体的には、スライス情報取得部２１３は、受信パケットのヘッダを解析することで、受信パケットに格納されているスライスセグメントのインデックス番号Ｉｄｘを取得する（Ｓ２０５）。具体的には、インデックス番号Ｉｄｘは、アクセスユニット（ＭＭＴにおけるサンプル）のＭｏｖｉｅ Ｆｒａｇｍｅｎｔ内におけるインデックス番号である。 On the other hand, if the data stored in the received packet is data of a slice segment (No in S203), the receiving device 200 uses the header information of the received packet to determine which of the multiple areas the data stored in the received packet is encoded data for. Specifically, the slice information acquisition unit 213 analyzes the header of the received packet to acquire the index number Idx of the slice segment stored in the received packet (S205). Specifically, the index number Idx is the index number within the Movie Fragment of the access unit (sample in MMT).

なお、このステップＳ２０５の処理は、ステップＳ２０２においてまとめて行われてもよい。 Note that the processing of step S205 may be performed together with step S202.

次に、復号データ生成部２１４は、当該スライスセグメントを復号する復号部を決定する（Ｓ２０６）。具体的には、インデックス番号Ｉｄｘと複数の復号部とは予め対応付けられており、復号データ生成部２１４は、ステップＳ２０５で取得されたインデックス番号Ｉｄｘに対応する復号部を、当該スライスセグメントを復号する復号部を決定する。 Next, the decoding data generation unit 214 determines a decoding unit that will decode the slice segment (S206). Specifically, the index number Idx and multiple decoding units are associated in advance, and the decoding data generation unit 214 determines the decoding unit that will decode the slice segment, which corresponds to the index number Idx obtained in step S205.

なお、復号データ生成部２１４は、図１２の例において説明したように、アクセスユニット（ピクチャ）の解像度、アクセスユニットの複数のスライスセグメント（タイル）への分割方法、及び受信装置２００が備える複数の復号部の処理能力の少なくとも一つに基づき、当該スライスセグメントを復号する復号部を決定してもよい。例えば、復号データ生成部２１４は、アクセスユニットの分割方法を、ＭＭＴのメッセージ、又はＴＳのセクションなどのデスクリプタにおける識別情報に基づいて判別する。 As described in the example of FIG. 12, the decoded data generation unit 214 may determine the decoding unit to decode the slice segment based on at least one of the resolution of the access unit (picture), the method of dividing the access unit into multiple slice segments (tiles), and the processing capabilities of the multiple decoding units included in the receiving device 200. For example, the decoded data generation unit 214 determines the method of dividing the access unit based on identification information in a descriptor such as an MMT message or a TS section.

次に、復号データ生成部２１４は、複数のパケットのいずれかに含まれる、ピクチャ内の全ての復号単位に対して共通に用いられる制御情報と、複数のスライスセグメントの複数の符号化データの各々とを結合することで、複数の復号部へ入力される複数の入力データ（結合データ）を生成する。具体的には、復号データ生成部２１４は、受信パケットのペイロードからスライスセグメントのデータを取得する。復号データ生成部２１４は、ステップＳ２０４でメモリに格納されたスライスセグメント前データと、取得されたスライスセグメントのデータとを結合することで、ステップＳ２０６で決定された復号部への入力データを生成する（Ｓ２０７）。 Next, the decoded data generation unit 214 generates multiple input data (combined data) to be input to the multiple decoding units by combining control information, which is included in one of the multiple packets and is used commonly for all decoding units in the picture, with each of the multiple encoded data of the multiple slice segments. Specifically, the decoded data generation unit 214 acquires slice segment data from the payload of the received packet. The decoded data generation unit 214 generates input data to the decoding unit determined in step S206 by combining the pre-slice segment data stored in memory in step S204 with the acquired slice segment data (S207).

ステップＳ２０４又はＳ２０７の後、受信パケットのデータがアクセスユニットの最終データでない場合（Ｓ２０８でＮｏ）、ステップＳ２０１以降の処理が再度行われる。つまり、アクセスユニットに含まれる全てのスライスセグメントに対応する、複数の復号部２０４Ａ～２０４Ｄへの入力データが生成されるまで、上記処理が繰り返される。 After step S204 or S207, if the data of the received packet is not the final data of the access unit (No in S208), the process from step S201 onwards is performed again. In other words, the above process is repeated until input data for the multiple decoding units 204A to 204D corresponding to all slice segments included in the access unit is generated.

なお、パケットが受信されるタイミングは、図１６に示すタイミングに限らず、予め又は順次複数のパケットが受信され、メモリ等に格納されてもよい。 Note that the timing at which a packet is received is not limited to the timing shown in FIG. 16, and multiple packets may be received in advance or sequentially and stored in a memory, etc.

一方、受信パケットのデータがアクセスユニットの最終データである場合（Ｓ２０８でＹｅｓ）、復号命令部２０６は、ステップＳ２０７で生成された、複数の入力データを、対応する復号部２０４Ａ～２０４Ｄへ出力する（Ｓ２０９）。 On the other hand, if the data of the received packet is the final data of the access unit (Yes in S208), the decoding command unit 206 outputs the multiple input data generated in step S207 to the corresponding decoding units 204A to 204D (S209).

次に、複数の復号部２０４Ａ～２０４Ｄは、アクセスユニットのＤＴＳに従い、複数の入力データを並列に復号することで、複数の復号画像を生成する（Ｓ２１０）。 Next, the multiple decoding units 204A to 204D generate multiple decoded images by decoding the multiple input data in parallel according to the DTS of the access unit (S210).

最後に、表示部２０５は、複数の復号部２０４Ａ～２０４Ｄで生成された複数の復号画像を結合することで表示画像を生成し、アクセスユニットのＰＴＳに従い当該表示画像を表示する（Ｓ２１１）。 Finally, the display unit 205 generates a display image by combining the multiple decoded images generated by the multiple decoding units 204A to 204D, and displays the display image according to the PTS of the access unit (S211).

なお、受信装置２００は、アクセスユニットのＤＴＳ及びＰＴＳを、ＭＰＵのヘッダ情報、又は、Ｍｏｖｉｅ Ｆｒａｇｍｅｎｔのヘッダ情報を格納するＭＭＴパケットのペイロードデータを解析することにより取得する。また、受信装置２００は、多重化方式としてＴＳが使用されている場合にはＰＥＳパケットのヘッダからアクセスユニットのＤＴＳ及びＰＴＳを取得する。受信装置２００は、多重化方式としてＲＴＰが使用されている場合にはＲＴＰパケットのヘッダからアクセスユニットのＤＴＳ及びＰＴＳを取得する。 The receiving device 200 obtains the DTS and PTS of the access unit by analyzing the header information of the MPU or the payload data of the MMT packet that stores the header information of the Movie Fragment. When TS is used as the multiplexing method, the receiving device 200 obtains the DTS and PTS of the access unit from the header of the PES packet. When RTP is used as the multiplexing method, the receiving device 200 obtains the DTS and PTS of the access unit from the header of the RTP packet.

また、表示部２０５は、複数の復号部の復号結果を統合する際に、隣接する分割単位の境界においてデブロックフィルタなどのフィルタ処理を行ってもよい。なお、単一の復号部の復号結果を表示する場合にはフィルタ処理は不要であるため、表示部２０５は、複数の復号部の復号結果の境界にフィルタ処理を行うかどうかに応じて処理を切替えてもよい。フィルタ処理が必要かどうかは、分割の有無などに応じて予め規定されていてもよい。または、フィルタ処理が必要かどうかを示す情報が、多重化レイヤに別途格納されてもよい。また、フィルタ係数などフィルタ処理に必要な情報は、ＳＰＳ、ＰＰＳ、ＳＥＩ、又はスライスセグメント内に格納される場合がある。復号部２０４Ａ～２０４Ｄ、又は逆多重化部２０３がＳＥＩを解析することによりこれらの情報を取得し、取得された情報を表示部２０５に出力する。表示部２０５は、これらの情報を用いてフィルタ処理を行う。なお、これらの情報がスライスセグメント内に格納される場合には、復号部２０４Ａ～２０４Ｄがこれらの情報を取得することが望ましい。 When integrating the decoding results of the multiple decoding units, the display unit 205 may perform a filter process such as a deblocking filter at the boundary between adjacent division units. Since the filter process is not necessary when displaying the decoding results of a single decoding unit, the display unit 205 may switch the process depending on whether or not to perform a filter process at the boundary between the decoding results of the multiple decoding units. Whether or not the filter process is necessary may be specified in advance depending on the presence or absence of division. Alternatively, information indicating whether or not the filter process is necessary may be stored separately in the multiplexing layer. Information necessary for the filter process, such as a filter coefficient, may be stored in the SPS, PPS, SEI, or slice segment. The decoding units 204A to 204D or the demultiplexing unit 203 acquire this information by analyzing the SEI, and output the acquired information to the display unit 205. The display unit 205 performs a filter process using this information. When this information is stored in the slice segment, it is preferable that the decoding units 204A to 204D acquire this information.

なお、上記説明では、フラグメントに格納されるデータの種類がスライスセグメント前データとスライスセグメントとの２種類である場合の例を示したが、データの種類は３種類以上であってもよい。この場合には、ステップＳ２０３においてタイプに応じた場合分けが行われる。 In the above explanation, an example was given in which the types of data stored in a fragment are two types: pre-slice segment data and slice segments. However, the types of data may be three or more. In this case, a case distinction is made in step S203 according to the type.

また、送信装置１００は、スライスセグメントのデータサイズが大きい場合にスライスセグメントをフラグメント化してＭＭＴパケットに格納してもよい。つまり、送信装置１００は、スライスセグメント前データ及びスライスセグメントをフラグメント化してもよい。この場合に、図１１に示したパケット化の例のようにアクセスユニットとＤａｔａ ｕｎｉｔとを等しく設定すると以下の問題が生じる。 In addition, when the data size of a slice segment is large, the transmitting device 100 may fragment the slice segment and store it in the MMT packet. In other words, the transmitting device 100 may fragment the pre-slice-segment data and the slice segment. In this case, if the access unit and the data unit are set to be equal as in the packetization example shown in FIG. 11, the following problem occurs.

例えばスライスセグメント１が３つのフラグメントに分割される場合、スライスセグメント１がＦｒａｇｍｅｎｔ ｃｏｕｎｔｅｒ値が１から３の３つのパケットに分割して送信される。また、スライスセグメント２以降では、Ｆｒａｇｍｅｎｔ ｃｏｕｎｔｅｒ値が４以上となり、Ｆｒａｇｍｅｎｔ ｃｏｕｎｔｅｒの値とペイロードに格納されるデータとの対応付けが取れなくなる。従って、受信装置２００は、ＭＭＴパケットのヘッダの情報から、スライスセグメントの先頭データを格納するパケットを特定できない。 For example, if slice segment 1 is divided into three fragments, slice segment 1 is divided into three packets with Fragment counter values of 1 to 3 and transmitted. Furthermore, from slice segment 2 onwards, the Fragment counter value becomes 4 or more, and it becomes impossible to associate the Fragment counter value with the data stored in the payload. Therefore, the receiving device 200 cannot identify the packet that stores the first data of the slice segment from the information in the header of the MMT packet.

このような場合には、受信装置２００は、ＭＭＴパケットのペイロードのデータを解析して、スライスセグメントの開始位置を特定してもよい。ここで、Ｈ．２６４又はＨ．２６５においてＮＡＬユニットを多重化レイヤに格納する形式として、ＮＡＬユニットヘッダの直前に特定のビット列からなるスタートコードが付加されるバイトストリームフォーマットと呼ばれる形式と、ＮＡＬユニットのサイズを示すフィールドが付加されるＮＡＬサイズフォーマットと呼ばれる形式との２種類がある。 In such a case, the receiving device 200 may analyze the data in the payload of the MMT packet to identify the start position of the slice segment. Here, there are two types of formats for storing NAL units in the multiplexing layer in H.264 or H.265: a format called a byte stream format in which a start code consisting of a specific bit string is added immediately before the NAL unit header, and a format called a NAL size format in which a field indicating the size of the NAL unit is added.

バイトストリームフォーマットは、ＭＰＥＧ－２システム及びＲＴＰなどにおいて用いられる。ＮＡＬサイズフォーマットは、ＭＰ４、並びにＭＰ４を使用するＤＡＳＨ及びＭＭＴなどにおいて用いられる。 The byte stream format is used in MPEG-2 systems and RTP, etc. The NAL size format is used in MP4, as well as DASH and MMT, which use MP4, etc.

バイトストリームフォーマットが用いられる場合、受信装置２００は、パケットの先頭データがスタートコードと一致するかどうかを解析する。受信装置２００は、パケットの先頭データがスタートコードと一致していれば、その後に続くＮＡＬユニットヘッダからＮＡＬユニットのタイプを取得することで、当該パケットに含まれるデータがスライスセグメントのデータであるかどうかを検出できる。 When a byte stream format is used, the receiving device 200 analyzes whether the first data of the packet matches the start code. If the first data of the packet matches the start code, the receiving device 200 can detect whether the data contained in the packet is slice segment data by obtaining the type of NAL unit from the following NAL unit header.

一方、ＮＡＬサイズフォーマットの場合には、受信装置２００は、ビット列に基づいてＮＡＬユニットの開始位置を検出できない。従って、受信装置２００は、ＮＡＬユニットの開始位置を取得するために、アクセスユニットの先頭ＮＡＬユニットから順に、ＮＡＬユニットのサイズ分だけデータの読出すことでポインタをシフトさせていく必要がある。 On the other hand, in the case of the NAL size format, the receiving device 200 cannot detect the start position of the NAL unit based on the bit string. Therefore, in order to obtain the start position of the NAL unit, the receiving device 200 needs to shift the pointer by reading data by the size of the NAL unit, starting from the first NAL unit of the access unit.

但し、ＭＭＴにおけるＭＰＵ又はＭｏｖｉｅ Ｆｒａｇｍｅｎｔのヘッダにおいて、サブサンプル単位のサイズが示され、サブサンプルがスライス前データ又はスライスセグメントに対応する場合には、受信装置２００は、サブサンプルのサイズ情報に基づいて各ＮＡＬユニットの開始位置を特定できる。そのため、送信装置１００は、サブサンプル単位の情報がＭＰＵ又はＭｏｖｉｅ Ｆｒａｇｍｅｎｔに存在するかどうかを示す情報を、ＭＭＴにおけるＭＰＴなどの、受信装置２００がデータの受信開始時に取得する情報に含めてもよい。 However, if the size of the subsample unit is indicated in the header of an MPU or Movie Fragment in MMT, and the subsample corresponds to pre-slice data or a slice segment, the receiving device 200 can identify the start position of each NAL unit based on the size information of the subsample. Therefore, the transmitting device 100 may include information indicating whether or not information of the subsample unit is present in an MPU or Movie Fragment in information that the receiving device 200 acquires when it starts receiving data, such as an MPT in MMT.

なお、ＭＰＵのデータはＭＰ４フォーマットをベースに拡張したものである。ＭＰ４においては、Ｈ．２６４又はＨ．２６５のＳＰＳ及びＰＰＳなどのパラメータセットをサンプルデータとして格納可能なモードと、格納できないモードとがある。また、このモードを特定するための情報がＳａｍｐｌｅＥｎｔｒｙのエントリ名として示される。格納可能なモードが用いられており、パラメータセットがサンプルに含まれる場合には、受信装置２００は、上述した方法によりパラメータセットを取得する。 The MPU data is an extension of the MP4 format. In MP4, there are modes in which parameter sets such as SPS and PPS of H.264 or H.265 can be stored as sample data, and modes in which they cannot be stored. Information for identifying this mode is indicated as the entry name of SampleEntry. When a mode in which it can be stored is used and the parameter set is included in the sample, the receiving device 200 acquires the parameter set by the method described above.

一方、格納できないモードが用いられている場合には、パラメータセットは、ＳａｍｐｌｅＥｎｔｒｙ内のＤｅｃｏｄｅｒ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎとして格納される、又は、パラメータセット用のストリームを用いて格納される。ここで、パラメータセット用のストリームは一般的には使用されていないので、送信装置１００は、Ｄｅｃｏｄｅｒ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎにパラメータセットを格納することが望ましい。この場合には、受信装置２００は、ＭＭＴパケットにおいてＭＰＵのメタデータ、又は、Ｍｏｖｉｅ Ｆｒａｇｍｅｎｔのメタデータとしてとして送信されるＳａｍｐｌｅＥｎｔｒｙを解析して、アクセスユニットが参照するパラメータセットを取得する。 On the other hand, if a mode that cannot store the parameter set is used, the parameter set is stored as Decoder Specific Information in the SampleEntry, or is stored using a stream for the parameter set. Here, since the stream for the parameter set is not generally used, it is preferable that the transmitting device 100 stores the parameter set in the Decoder Specific Information. In this case, the receiving device 200 analyzes the SampleEntry transmitted as metadata of the MPU or metadata of the Movie Fragment in the MMT packet to obtain the parameter set referenced by the access unit.

パラメータセットがサンプルデータとして格納される場合には、受信装置２００は、ＳａｍｐｌｅＥｎｔｒｙを参照せずにサンプルデータのみを参照すれば復号に必要なパラメータセットが取得できる。このとき、送信装置１００は、ＳａｍｐｌｅＥｎｔｒｙにパラメータセットを格納しなくてもよい。こうすることで、送信装置１００は、異なるＭＰＵにおいて同一のＳａｍｐｌｅＥｎｔｒｙを用いることができるので、ＭＰＵ生成時の送信装置１００の処理負荷を低減できる。さらに、受信装置２００がＳａｍｐｌｅＥｎｔｒｙ内のパラメータセットを参照する必要がなくなるというメリットがある。 When the parameter set is stored as sample data, the receiving device 200 can obtain the parameter set required for decoding by referring only to the sample data without referring to the SampleEntry. In this case, the transmitting device 100 does not need to store the parameter set in the SampleEntry. In this way, the transmitting device 100 can use the same SampleEntry in different MPUs, thereby reducing the processing load on the transmitting device 100 when generating an MPU. Another advantage is that the receiving device 200 does not need to refer to the parameter set in the SampleEntry.

または、送信装置１００は、ＳａｍｐｌｅＥｎｔｒｙにデフォルトのパラメータセットを１つ格納し、アクセスユニットが参照するパラメータセットをサンプルデータに格納してもよい。従来のＭＰ４においては、ＳａｍｐｌｅＥｎｔｒｙにパラメータセットを格納するのが一般的であったため、ＳａｍｐｌｅＥｎｔｒｙにパラメータセットが存在しない場合、再生を停止する受信装置が存在する可能性がある。上記の方法を用いることで、この問題を解決できる。 Alternatively, the transmitting device 100 may store one default parameter set in SampleEntry, and store the parameter set referenced by the access unit in the sample data. In conventional MP4, it was common to store parameter sets in SampleEntry, so there is a possibility that a receiving device may stop playback if a parameter set does not exist in SampleEntry. This problem can be solved by using the above method.

または、送信装置１００は、デフォルトのパラメータセットとは異なるパラメータセットが使用される場合にのみ、サンプルデータにパラメータセットを格納してもよい。 Alternatively, the transmitting device 100 may store a parameter set in the sample data only when a parameter set different from the default parameter set is used.

なお、両モード共に、パラメータセットをＳａｍｐｌｅＥｎｔｒｙに格納することは可能であるため、送信装置１００は、パラメータセットを常にＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙに格納し、受信装置２００は常にＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙからパラメータセットを取得してもよい。 In addition, since it is possible to store parameter sets in SampleEntry in both modes, the transmitting device 100 may always store parameter sets in VisualSampleEntry, and the receiving device 200 may always obtain parameter sets from VisualSampleEntry.

なお、ＭＭＴ規格においては、Ｍｏｏｖ及びＭｏｏｆなどＭＰ４のヘッダ情報はＭＰＵメタと呼ばれるが、送信装置１００は、ＭＰＵメタを必ずしも送信しなくてもよい。さらに、受信装置２００は、ＡＲＩＢ（Ａｓｓｏｃｉａｔｉｏｎ ｏｆ Ｒａｄｉｏ Ｉｎｄｕｓｔｒｉｅｓ ａｎｄ Ｂｕｓｉｎｅｓｓｅｓ）規格のサービス、アセットのタイプ、又は、ＭＰＵメタの伝送有無などに基づいて、サンプルデータ内にＳＰＳ及びＰＰＳが格納されるかどうかを判定することも可能である。 In the MMT standard, the header information of MP4 such as Moov and Moof is called MPU meta, but the transmitting device 100 does not necessarily have to transmit MPU meta. Furthermore, the receiving device 200 can also determine whether SPS and PPS are stored in the sample data based on the service of the ARIB (Association of Radio Industries and Businesses) standard, the type of asset, or whether MPU meta is transmitted.

図１７は、スライスセグメント前データ及び各スライスセグメントが、それぞれ異なるＤａｔａ ｕｎｉｔに設定される場合の例を示す図である。 Figure 17 shows an example in which pre-slice segment data and each slice segment are set to different Data units.

図１７に示す例では、スライスセグメント前データ、及びスライスセグメント１からスライスセグメント４までのデータサイズは、それぞれＬｅｎｇｔｈ＃１からＬｅｎｇｔｈ＃５である。ＭＭＴパケットのヘッダに含まれるＦｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒ、Ｆｒａｇｍｅｎｔ ｃｏｕｎｔｅｒ、及び、Ｏｆｆｓｅｔの各フィールド値は図中に示す通りである。 In the example shown in FIG. 17, the data sizes of the data before the slice segment and slice segments 1 to 4 are Length #1 to Length #5, respectively. The field values of the Fragmentation indicator, Fragment counter, and Offset included in the header of the MMT packet are as shown in the figure.

ここで、Ｏｆｆｓｅｔは、ペイロードデータが属するサンプル（アクセスユニット又はピクチャ）の符号化データの先頭から、当該ＭＭＴパケットに含まれるペイロードデータ（符号化データ）の先頭バイトまでのビット長（オフセット）を示すオフセット情報である。なお、Ｆｒａｇｍｅｎｔ ｃｏｕｎｔｅｒの値はフラグメントの総数から１を減算した値から開始するとして説明するが、他の値から開始してもよい。 Here, Offset is offset information indicating the bit length (offset) from the beginning of the encoded data of the sample (access unit or picture) to which the payload data belongs to to the first byte of the payload data (encoded data) included in the MMT packet. Note that, although the value of the Fragment counter is described as starting from a value obtained by subtracting 1 from the total number of fragments, it may start from another value.

図１８は、Ｄａｔａ ｕｎｉｔがフラグメント化される場合の例を示す図である。図１８に示す例では、スライスセグメント１が３つのフラグメントに分割され、それぞれＭＭＴパケット＃２からＭＭＴパケット＃４に格納される。このときも、各フラグメントのデータサイズを、それぞれＬｅｎｇｔｈ＃２＿１からＬｅｎｇｔｈ＃２＿３とすると、各フィールドの値は図中に示す通りである。 Figure 18 is a diagram showing an example of when a Data unit is fragmented. In the example shown in Figure 18, slice segment 1 is divided into three fragments, which are stored in MMT packets #2 to #4, respectively. In this case, if the data size of each fragment is Length #2_1 to Length #2_3, respectively, the values of each field are as shown in the figure.

このように、スライスセグメントなどのデータ単位がＤａｔａ ｕｎｉｔに設定される場合、アクセスユニットの先頭、及びスライスセグメントの先頭は、ＭＭＴパケットヘッダのフィールド値に基づいて以下のように決定できる。 In this way, when a data unit such as a slice segment is set to Data unit, the start of the access unit and the start of the slice segment can be determined based on the field values of the MMT packet header as follows:

Ｏｆｆｓｅｔの値が０であるパケットにおけるペイロードの先頭は、アクセスユニットの先頭である。 The start of the payload in a packet with an Offset value of 0 is the start of the access unit.

Ｏｆｆｓｅｔの値が０とは異なる値であり、かつ、Ｆｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｃａｔｏｒｎｏ値が００又は０１であるパケットのペイロードの先頭が、スライスセグメントの先頭である。 The start of the payload of a packet whose Offset value is different from 0 and whose Fragmentation indicator value is 00 or 01 is the start of a slice segment.

また、Ｄａｔａ ｕｎｉｔのフラグメント化が発生せず、パケットロスも発生しない場合には、受信装置２００は、アクセスユニットの先頭を検出した後に取得したスライスセグメントの数に基づいて、ＭＭＴパケットに格納されるスライスセグメントのインデックス番号を特定できる。 In addition, if fragmentation of the data unit does not occur and no packet loss occurs, the receiving device 200 can identify the index number of the slice segment to be stored in the MMT packet based on the number of slice segments obtained after detecting the beginning of the access unit.

また、スライスセグメント前データのＤａｔａ ｕｎｉｔがフラグメント化される場合においても、同様に、受信装置２００は、アクセスユニット、及びスライスセグメントの先頭を検出できる。 Furthermore, even if the data unit of the data before the slice segment is fragmented, the receiving device 200 can similarly detect the beginning of the access unit and the slice segment.

また、パケットロスが発生した場合、又は、スライスセグメント前データに含まれるＳＰＳ、ＰＰＳ及びＳＥＩが別々のＤａｔａ ｕｎｉｔに設定された場合においても、受信装置２００は、ＭＭＴヘッダの解析結果に基づいてスライスセグメントの先頭データを格納したＭＭＴパケットを特定し、その後、スライスセグメントのヘッダを解析することで、ピクチャ（アクセスユニット）内におけるスライスセグメント又はタイルの開始位置を特定できる。スライスヘッダの解析に係る処理量は小さく、処理負荷は問題とならない。 In addition, even if packet loss occurs or the SPS, PPS, and SEI included in the slice segment pre-data are set to different data units, the receiving device 200 can identify the MMT packet that stores the first data of the slice segment based on the analysis result of the MMT header, and then analyze the slice segment header to identify the start position of the slice segment or tile within the picture (access unit). The amount of processing involved in analyzing the slice header is small, and the processing load is not a problem.

このように、複数のスライスセグメントの複数の符号化データの各々は、１以上のパケットに格納されるデータの単位である基本データ単位（Ｄａｔａ ｕｎｉｔ）と一対一で対応付けられている。また、複数の符号化データの各々は、１以上のＭＭＴパケットに格納される。 In this way, each of the multiple coded data of the multiple slice segments is in one-to-one correspondence with a basic data unit (Data unit), which is a unit of data stored in one or more packets. In addition, each of the multiple coded data is stored in one or more MMT packets.

各ＭＭＴパケットのヘッダ情報は、Ｆｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒ（識別情報）及びＯｆｆｓｅｔ（オフセット情報）を含む。 The header information of each MMT packet includes a Fragmentation indicator (identification information) and an Offset (offset information).

受信装置２００は、受信装置２００は、値が００又は０１であるＦｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒが含まれるヘッダ情報を有するパケットに含まれるペイロードデータの先頭を、各スライスセグメントの符号化データの先頭であると判定する。具体的には、値が０でないＯｆｆｓｅｔと、値が００又は０１であるＦｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒとが含まれるヘッダ情報を有するパケットに含まれるペイロードデータの先頭を、各スライスセグメントの符号化データの先頭であると判定する。 The receiving device 200 determines that the start of payload data included in a packet having header information including a Fragmentation indicator whose value is 00 or 01 is the start of the encoded data of each slice segment. Specifically, the receiving device 200 determines that the start of payload data included in a packet having header information including an Offset whose value is not 0 and a Fragmentation indicator whose value is 00 or 01 is the start of the encoded data of each slice segment.

また、図１７の例では、Ｄａｔａ ｕｎｉｔの先頭は、アクセスユニットの先頭、又は、スライスセグメントの先頭のいずれかであり、Ｆｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒの値は００又は０１である。さらに、受信装置２００は、ＮＡＬユニットのタイプを参照して、Ｄａｔａ Ｕｎｉｔの先頭がアクセスユニットデリミタ、又は、スライスセグメントのどちらであるかを判定することで、Ｏｆｆｓｅｔを参照せずに、アクセスユニットの先頭、又は、スライスセグメントの先頭を検出することも可能である。 In the example of FIG. 17, the beginning of a Data unit is either the beginning of an access unit or the beginning of a slice segment, and the value of the Fragmentation indicator is 00 or 01. Furthermore, the receiving device 200 can detect the beginning of an access unit or the beginning of a slice segment without referring to the Offset by referring to the type of the NAL unit and determining whether the beginning of a Data Unit is an access unit delimiter or a slice segment.

このように、送信装置１００が、ＮＡＬユニットの先頭が必ずＭＭＴパケットのペイロードの先頭から開始されるようにパケット化を行うことで、スライスセグメント前データが複数のＤａｔａ ｕｎｉｔに分割される場合も含めて、受信装置２００は、Ｆｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒ及びＮＡＬユニットヘッダを解析することにより、アクセスユニット、又は、スライスセグメントの先頭を検出できる。ＮＡＬユニットのタイプは、ＮＡＬユニットヘッダの先頭バイトに存在する。従って、受信装置２００は、ＭＭＴパケットのヘッダ部を解析する際に、追加で１バイト分のデータを解析することによりＮＡＬユニットのタイプが取得できる。 オーディオの場合には、受信装置２００は、アクセスユニットの先頭が検出できればよく、Ｆｒａｇｍｅｎｔａｔｉｏｎ ｉｎｄｉｃａｔｏｒの値が００又は０１であるかどうかに基づいて判定すればよい。 In this way, the transmitting device 100 performs packetization so that the beginning of the NAL unit always starts from the beginning of the payload of the MMT packet. This allows the receiving device 200 to detect the beginning of the access unit or slice segment by analyzing the fragmentation indicator and the NAL unit header, even in cases where the data before the slice segment is divided into multiple data units. The type of the NAL unit is present in the first byte of the NAL unit header. Therefore, when analyzing the header portion of the MMT packet, the receiving device 200 can obtain the type of the NAL unit by analyzing an additional byte of data. In the case of audio, the receiving device 200 only needs to detect the beginning of the access unit, and can make a determination based on whether the value of the fragmentation indicator is 00 or 01.

また、上述したように、分割復号ができるように符号化された符号化データをＭＰＥＧ－２ ＴＳのＰＥＳパケットに格納する場合には、送信装置１００は、ｄａｔａ ａｌｉｇｎｍｅｎｔ記述子を用いることが可能である。以下、符号化データのＰＥＳパケットへの格納方法の例について詳細に説明する。 As described above, when storing encoded data that has been encoded so that it can be divided and decoded in a PES packet of MPEG-2 TS, the transmitting device 100 can use the data alignment descriptor. Below, an example of a method for storing encoded data in a PES packet is described in detail.

例えば、ＨＥＶＣにおいては、送信装置１００は、ｄａｔａ ａｌｉｇｎｍｅｎｔ記述子を用いることにより、ＰＥＳパケットに格納されるデータがアクセスユニット、スライスセグメント、及び、タイルのいずれであるかを示すことができる。ＨＥＶＣにおけるアラインメントのタイプは、次のように規定されている。 For example, in HEVC, the transmitting device 100 can use the data alignment descriptor to indicate whether the data stored in the PES packet is an access unit, a slice segment, or a tile. The alignment types in HEVC are specified as follows:

アラインメントのタイプ＝８は、ＨＥＶＣのスライスセグメントを示す。アラインメントのタイプ＝９は、ＨＥＶＣのスライスセグメント又はアクセスユニットを示す。アラインメントのタイプ＝１２は、ＨＥＶＣのスライスセグメント又はタイルを示す。 Alignment type=8 indicates a HEVC slice segment. Alignment type=9 indicates a HEVC slice segment or access unit. Alignment type=12 indicates a HEVC slice segment or tile.

よって、送信装置１００は、例えば、タイプ９を用いることで、ＰＥＳパケットのデータがスライスセグメント又はスライスセグメント前データのいずれかであることを示すことができる。スライスセグメントではなく、スライスを示すタイプも別途規定されているため、送信装置１００は、スライスセグメントではなくスライスを示すタイプを使用してもよい。 Therefore, by using type 9, for example, the transmitting device 100 can indicate that the data of the PES packet is either a slice segment or pre-slice segment data. Since a type indicating a slice rather than a slice segment is also separately defined, the transmitting device 100 may use a type indicating a slice rather than a slice segment.

また、ＰＥＳパケットのヘッダに含まれるＤＴＳ及びＰＴＳは、アクセスユニットの先頭データを含むＰＥＳパケットにおいてのみ設定される。従って、受信装置２００は、タイプが９であり、かつ、ＰＥＳパケットにＤＴＳ又はＰＴＳのフィールドが存在すれば、ＰＥＳパケットにはアクセスユニット全体、又は、アクセスユニットにおける先頭の分割単位が格納されると判定できる。 The DTS and PTS included in the header of a PES packet are set only in the PES packet that contains the first data of an access unit. Therefore, if the type is 9 and the PES packet contains a DTS or PTS field, the receiving device 200 can determine that the PES packet stores the entire access unit or the first division unit of the access unit.

また、送信装置１００は、アクセスユニットの先頭データを含むＰＥＳパケットを格納するＴＳパケットの優先度を示すｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙなどのフィールドを用いて、受信装置２００がパケットに含まれるデータを区別できるようにしてもよい。また、受信装置２００は、ＰＥＳパケットのペイロードがアクセスユニットデリミタであるかどうかを解析することでパケットに含まれるデータを判定してもよい。また、ＰＥＳパケットヘッダのｄａｔａ＿ａｌｉｇｎｍｅｎｔ＿ｉｎｄｉｃａｔｏｒは、これらのタイプに従ってＰＥＳパケットにデータが格納されているかどうかを示す。このフラグ（ｄａｔａ＿ａｌｉｇｎｍｅｎｔ＿ｉｎｄｉｃａｔｏｒ）が１にセットされていれば、ＰＥＳパケットに格納されているデータはｄａｔａ ａｌｉｇｎｍｅｎｔ記述子に示されるタイプに従うことが保証される。 The transmitting device 100 may also enable the receiving device 200 to distinguish the data contained in the packet using a field such as transport_priority, which indicates the priority of a TS packet that stores a PES packet that includes the first data of an access unit. The receiving device 200 may also determine the data contained in the packet by analyzing whether the payload of the PES packet is an access unit delimiter. The data_alignment_indicator in the PES packet header indicates whether data is stored in the PES packet according to these types. If this flag (data_alignment_indicator) is set to 1, it is guaranteed that the data stored in the PES packet complies with the type indicated in the data alignment descriptor.

また、送信装置１００は、スライスセグメントなどの分割復号可能な単位でＰＥＳパケット化する場合にのみｄａｔａ ａｌｉｇｎｍｅｎｔ記述子を使用してもよい。これにより、受信装置２００は、ｄａｔａ ａｌｉｇｎｍｅｎｔ記述子が存在する場合には、符号化データが分割復号可能な単位でＰＥＳパケット化されていると判断でき、ｄａｔａ ａｌｉｇｎｍｅｎｔ記述子が存在しなければ、符号化データがアクセスユニット単位でＰＥＳパケット化されていると判断できる。なお、ｄａｔａ＿ａｌｉｇｎｍｅｎｔ＿ｉｎｄｉｃａｔｏｒが１にセットされており、ｄａｔａ ａｌｉｇｎｍｅｎｔ記述子が存在しない場合には、ＰＥＳパケット化の単位がアクセスユニットであることはＭＰＥＧ－２ ＴＳ規格において規定されている。 In addition, the transmitting device 100 may use the data alignment descriptor only when PES packetization is performed in units that can be divided and decoded, such as slice segments. This allows the receiving device 200 to determine that the coded data has been PES packetized in units that can be divided and decoded if the data alignment descriptor is present, and to determine that the coded data has been PES packetized in access unit units if the data alignment descriptor is not present. Note that if the data_alignment_indicator is set to 1 and the data alignment descriptor is not present, it is specified in the MPEG-2 TS standard that the unit of PES packetization is the access unit.

受信装置２００は、ＰＭＴ内にｄａｔａ ａｌｉｇｎｍｅｎｔ記述子が含まれていれば、分割復号可能な単位でＰＥＳパケット化されていると判定し、パケット化された単位に基づいて、各復号部への入力データを生成することができる。また、受信装置２００は、ＰＭＴ内にｄａｔａ ａｌｉｇｎｍｅｎｔ記述子が含まれておらず、番組情報、又はその他の記述子の情報に基づいて、符号化データの並列復号が必要と判定される場合には、スライスセグメントのスライスヘッダなどを解析することにより、各復号部への入力データを生成する。また、符号化データを単一の復号部により復号可能である場合には、受信装置２００は、アクセスユニット全体のデータを当該の復号部で復号する。なお、符号化データがスライスセグメント又はタイルなどの分割復号可能な単位から構成されるかどうかを示す情報が、ＰＭＴの記述子などにより別途示されている場合、受信装置２００は、当該記述子の解析結果に基づいて符号化データを並列復号できるかどうかを判定してもよい。 If the PMT contains a data alignment descriptor, the receiving device 200 can determine that the PES packetization is performed in units that can be divided and decoded, and can generate input data for each decoding unit based on the packetized units. If the PMT does not contain a data alignment descriptor and the receiving device 200 determines that parallel decoding of the encoded data is necessary based on the program information or information in other descriptors, the receiving device 200 generates input data for each decoding unit by analyzing the slice header of the slice segment. If the encoded data can be decoded by a single decoding unit, the receiving device 200 decodes the data of the entire access unit by the decoding unit. If information indicating whether the encoded data is composed of units that can be divided and decoded, such as slice segments or tiles, is separately indicated by a descriptor in the PMT, the receiving device 200 may determine whether the encoded data can be decoded in parallel based on the analysis result of the descriptor.

また、ＰＥＳパケットのヘッダに含まれるＤＴＳ及びＰＴＳは、アクセスユニットの先頭データを含むＰＥＳパケットにおいてのみ設定されるため、アクセスユニットが分割されてＰＥＳパケット化される場合には、２番目以降のＰＥＳパケットにはアクセスユニットのＤＴＳ及びＰＴＳを示す情報は含まれない。従って、復号処理を並列に行う場合、各復号部２０４Ａ～２０４Ｄ及び表示部２０５は、アクセスユニットの先頭データを含むＰＥＳパケットのヘッダに格納されるＤＴＳ及びＰＴＳを使用する。 In addition, the DTS and PTS included in the header of a PES packet are set only in the PES packet that contains the first data of an access unit, so when an access unit is divided and packetized into PES packets, the second and subsequent PES packets do not contain information indicating the DTS and PTS of the access unit. Therefore, when performing decoding processes in parallel, each of the decoding units 204A-204D and the display unit 205 uses the DTS and PTS stored in the header of the PES packet that contains the first data of the access unit.

以上、実施の形態に係る送信装置、受信装置、送信方法及び受信方法ついて説明したが、本発明は、この実施の形態に限定されるものではない。 The transmitting device, receiving device, transmitting method, and receiving method according to the embodiment have been described above, but the present invention is not limited to this embodiment.

また、上記実施の形態に係る送信装置及び受信装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。 Furthermore, each processing unit included in the transmitting device and receiving device according to the above-mentioned embodiment is typically realized as an LSI, which is an integrated circuit. These may be individually implemented as single chips, or may be integrated into a single chip that includes some or all of them.

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。 In addition, the integrated circuit is not limited to LSI, but may be realized by a dedicated circuit or a general-purpose processor. It is also possible to use an FPGA (Field Programmable Gate Array) that can be programmed after LSI manufacturing, or a reconfigurable processor that can reconfigure the connections and settings of circuit cells inside the LSI.

上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。 In each of the above embodiments, each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.

言い換えると、送信装置及び受信装置は、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）と、当該処理回路に電気的に接続された（当該制御回路からアクセス可能な）記憶装置（ｓｔｏｒａｇｅ）とを備える。処理回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含む。また、記憶装置は、処理回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。処理回路は、記憶装置を用いて、上記実施の形態に係る送信方法又は受信方法を実行する。 In other words, the transmitting device and the receiving device include a processing circuit and a storage device electrically connected to the processing circuit (accessible from the processing circuit). The processing circuit includes at least one of dedicated hardware and a program execution unit. In addition, when the processing circuit includes a program execution unit, the storage device stores a software program to be executed by the program execution unit. The processing circuit uses the storage device to execute the transmitting method or the receiving method according to the above embodiment.

さらに、本発明は上記ソフトウェアプログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。 Furthermore, the present invention may be the above-mentioned software program, or a non-transitory computer-readable recording medium on which the above-mentioned program is recorded. Needless to say, the above-mentioned program can be distributed via a transmission medium such as the Internet.

また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。 Furthermore, all the numbers used above are examples to specifically explain the present invention, and the present invention is not limited to the exemplified numbers.

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。 The division of functional blocks in the block diagram is one example, and multiple functional blocks may be realized as one functional block, one functional block may be divided into multiple blocks, or some functions may be transferred to other functional blocks. In addition, the functions of multiple functional blocks having similar functions may be processed in parallel or in a time-shared manner by a single piece of hardware or software.

また、上記の送信方法又は受信方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。 The order in which the steps included in the above-mentioned transmission method or reception method are executed is merely an example to specifically explain the present invention, and the steps may be executed in an order other than the above. Also, some of the steps may be executed simultaneously (in parallel) with other steps.

以上、本発明の一つ又は複数の態様に係る送信装置、受信装置、送信方法及び受信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つ又は複数の態様の範囲内に含まれてもよい。 The transmitting device, receiving device, transmitting method, and receiving method according to one or more aspects of the present invention have been described above based on the embodiments, but the present invention is not limited to these embodiments. As long as they do not deviate from the spirit of the present invention, various modifications that a person skilled in the art may make to this embodiment, or forms constructed by combining components of different embodiments, may also be included within the scope of one or more aspects of the present invention.

本発明は、ビデオデータ及びオーディオデータなどのメディアトランスポートを行う装置又は機器に適用できる。 The present invention can be applied to devices or equipment that transport media such as video data and audio data.

１００ 送信装置
１０１ 符号化部
１０２ 多重化部
１０３ 変調部
１０４ 送信部
２００ 受信装置
２０１ チューナー
２０２ 復調部
２０３ 逆多重化部
２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄ 復号部
２０５ 表示部
２０６ 復号命令部
２１１ タイプ判別部
２１２ 制御情報取得部
２１３ スライス情報取得部
２１４ 復号データ生成部 REFERENCE SIGNS LIST 100 Transmitting device 101 Encoding unit 102 Multiplexing unit 103 Modulation unit 104 Transmitting unit 200 Receiving device 201 Tuner 202 Demodulation unit 203 Demultiplexing unit 204A, 204B, 204C, 204D Decoding unit 205 Display unit 206 Decoding command unit 211 Type discrimination unit 212 Control information acquisition unit 213 Slice information acquisition unit 214 Decoded data generation unit

Claims (4)

ピクチャを複数の領域に分割する分割ステップと、
前記複数の領域の各々を独立して復号が可能なように符号化することで、前記複数の領域の各々に対応する符号化データを生成する符号化ステップと、
生成された複数の前記符号化データを、複数のパケットに格納するパケット化ステップと、
前記複数のパケットを送信する送信ステップとを含み、
前記複数の符号化データの各々は、１以上のパケットに格納されるデータの単位である基本データ単位と一対一で対応付けられており、
前記複数の符号化データの各々は、前記１以上のパケットに格納され、
各前記パケットのヘッダ情報は、（１）前記基本データ単位に当該パケットのみが含まれる、（２）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭のパケットである、（３）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭及び最後以外のパケットである、及び、（４）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の最後のパケットである、のいずれであるかを示す識別情報を含み、
前記パケット化ステップでは、前記ピクチャ内の復号単位に用いられる制御情報を、前記複数の符号化データが格納される複数のパケットとは異なる１つのパケットに格納し、当該パケットのヘッダ情報は、前記基本データ単位に当該パケットのみが含まれることを示す識別情報を含み、
前記パケットの前記ヘッダ情報は、当該パケットに格納されるデータが、前記基本データ単位の何番目の分割データであるかを示す情報を含む、
送信方法。 A segmentation step of segmenting a picture into a plurality of regions;
an encoding step of generating encoded data corresponding to each of the plurality of regions by encoding each of the plurality of regions so that the encoded data can be decoded independently;
a packetizing step of storing the generated plurality of encoded data in a plurality of packets;
and transmitting the plurality of packets;
each of the plurality of encoded data is in one-to-one correspondence with a basic data unit which is a unit of data stored in one or more packets;
Each of the plurality of encoded data is stored in the one or more packets;
The header information of each of the packets includes identification information indicating whether the packet in question is the first packet of the basic data unit, (1) the basic data unit includes only the packet in question, (2) the basic data unit includes multiple packets, and the packet in question is the first packet of the basic data unit, (3) the basic data unit includes multiple packets, and the packet in question is a packet other than the first or last packet of the basic data unit, or (4) the basic data unit includes multiple packets, and the packet in question is the last packet of the basic data unit,
In the packetizing step, control information used for a decoding unit in the picture is stored in one packet different from a plurality of packets in which the plurality of encoded data are stored, and header information of the packet includes identification information indicating that only the packet is included in the basic data unit;
The header information of the packet includes information indicating which number of divided data of the basic data unit the data stored in the packet is.
Transmission method. 複数の復号部を備える受信装置における受信方法であって、
ピクチャが分割されることにより得られた複数の領域が、独立して復号が可能なように符号化されることで得られた複数の符号化データがパケット化されることで得られた複数のパケットを受信する受信ステップと、
前記複数の復号部が、前記複数の符号化データを並列に復号する復号ステップとを含み、
前記複数の符号化データの各々は、１以上のパケットに格納されるデータの単位である基本データ単位と一対一で対応付けられており、
前記複数の符号化データの各々は、前記１以上のパケットに格納され、
各前記パケットのヘッダ情報は、（１）前記基本データ単位に当該パケットのみが含まれる、（２）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭のパケットである、（３）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭及び最後以外のパケットである、及び、（４）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の最後のパケットである、のいずれであるかを示す識別情報を含み、
前記ピクチャ内の復号単位に用いられる制御情報は、前記複数の符号化データが格納される複数のパケットとは異なる１つのパケットに格納されており、当該パケットのヘッダ情報は、前記基本データ単位に当該パケットのみが含まれることを示す識別情報を含み、
前記パケットの前記ヘッダ情報は、当該パケットに格納されるデータが、前記基本データ単位の何番目の分割データであるかを示す情報を含む、
受信方法。 A receiving method in a receiving device having a plurality of decoding units,
a receiving step of receiving a plurality of packets obtained by packetizing a plurality of encoded data obtained by encoding a plurality of regions obtained by dividing a picture so as to be independently decodable;
a decoding step in which the plurality of decoding units decode the plurality of encoded data in parallel,
each of the plurality of encoded data is in one-to-one correspondence with a basic data unit which is a unit of data stored in one or more packets;
Each of the plurality of encoded data is stored in the one or more packets;
The header information of each of the packets includes identification information indicating whether the packet in question is the first packet of the basic data unit, (1) the basic data unit includes only the packet in question, (2) the basic data unit includes multiple packets, and the packet in question is the first packet of the basic data unit, (3) the basic data unit includes multiple packets, and the packet in question is a packet other than the first or last packet of the basic data unit, or (4) the basic data unit includes multiple packets, and the packet in question is the last packet of the basic data unit,
control information used for a decoding unit in the picture is stored in one packet different from a plurality of packets in which the plurality of encoded data are stored, and header information of the packet includes identification information indicating that only the packet is included in the basic data unit;
the header information of the packet includes information indicating which number of divided data of the basic data unit the data stored in the packet is.
Receiving method. ピクチャを複数の領域に分割する分割部と、
前記複数の領域の各々を独立して復号が可能なように符号化することで、前記複数の領域の各々に対応する符号化データを生成する符号化部と、
生成された複数の前記符号化データを、複数のパケットに格納するパケット化部と、
前記複数のパケットを送信する送信部とを備え、
前記複数の符号化データの各々は、１以上のパケットに格納されるデータの単位である基本データ単位と一対一で対応付けられており、
前記複数の符号化データの各々は、前記１以上のパケットに格納され、
各前記パケットのヘッダ情報は、（１）前記基本データ単位に当該パケットのみが含まれる、（２）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭のパケットである、（３）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭及び最後以外のパケットである、及び、（４）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の最後のパケットである、のいずれであるかを示す識別情報を含み、
前記パケット化部は、前記ピクチャ内の復号単位に用いられる制御情報を、前記複数の符号化データが格納される複数のパケットとは異なる１つのパケットに格納し、当該パケットのヘッダ情報は、前記基本データ単位に当該パケットのみが含まれることを示す識別情報を含み、
前記パケットの前記ヘッダ情報は、当該パケットに格納されるデータが、前記基本データ単位の何番目の分割データであるかを示す情報を含む、
送信装置。 a division unit for dividing a picture into a plurality of regions;
an encoding unit that generates encoded data corresponding to each of the plurality of regions by encoding each of the plurality of regions so that the each of the plurality of regions can be decoded independently;
a packetizing unit that stores the generated plurality of pieces of encoded data in a plurality of packets;
a transmission unit for transmitting the plurality of packets,
each of the plurality of encoded data is in one-to-one correspondence with a basic data unit which is a unit of data stored in one or more packets;
Each of the plurality of encoded data is stored in the one or more packets;
The header information of each of the packets includes identification information indicating whether the packet in question is the first packet of the basic data unit, (1) the basic data unit includes only the packet in question, (2) the basic data unit includes multiple packets, and the packet in question is the first packet of the basic data unit, (3) the basic data unit includes multiple packets, and the packet in question is a packet other than the first or last packet of the basic data unit, or (4) the basic data unit includes multiple packets, and the packet in question is the last packet of the basic data unit,
the packetization unit stores control information used for a decoding unit in the picture in one packet different from a plurality of packets in which the plurality of encoded data are stored, and header information of the packet includes identification information indicating that only the packet is included in the basic data unit;
the header information of the packet includes information indicating which number of divided data of the basic data unit the data stored in the packet is.
Transmitting device. ピクチャが分割されることにより得られた複数の領域が、独立して復号が可能なように符号化されることで得られた複数の符号化データがパケット化されることで得られた複数のパケット
を受信する受信部と、
前記複数の符号化データを並列に復号する複数の復号部とを備え、
前記複数の符号化データの各々は、１以上のパケットに格納されるデータの単位である基本データ単位と一対一で対応付けられており、
前記複数の符号化データの各々は、前記１以上のパケットに格納され、
各前記パケットのヘッダ情報は、（１）前記基本データ単位に当該パケットのみが含まれる、（２）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭のパケットである、（３）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の先頭及び最後以外のパケットである、及び、（４）前記基本データ単位に複数のパケットが含まれ、かつ、当該パケットが前記基本データ単位の最後のパケットである、のいずれであるかを示す識別情報を含み、
前記ピクチャ内の復号単位に用いられる制御情報は、前記複数の符号化データが格納される複数のパケットとは異なる１つのパケットに格納されており、当該パケットのヘッダ情報は、前記基本データ単位に当該パケットのみが含まれることを示す識別情報を含み、
前記パケットの前記ヘッダ情報は、当該パケットに格納されるデータが、前記基本データ単位の何番目の分割データであるかを示す情報を含む、
受信装置。 a receiving unit that receives a plurality of packets obtained by packetizing a plurality of coded data obtained by coding a plurality of areas obtained by dividing a picture so that the plurality of areas can be decoded independently;
a plurality of decoding units configured to decode the plurality of encoded data in parallel;
each of the plurality of encoded data is in one-to-one correspondence with a basic data unit which is a unit of data stored in one or more packets;
Each of the plurality of encoded data is stored in the one or more packets;
The header information of each of the packets includes identification information indicating whether the packet in question is the first packet of the basic data unit, (1) the basic data unit includes only the packet in question, (2) the basic data unit includes multiple packets, and the packet in question is the first packet of the basic data unit, (3) the basic data unit includes multiple packets, and the packet in question is a packet other than the first or last packet of the basic data unit, or (4) the basic data unit includes multiple packets, and the packet in question is the last packet of the basic data unit,
control information used for a decoding unit in the picture is stored in one packet different from a plurality of packets in which the plurality of encoded data are stored, and header information of the packet includes identification information indicating that only the packet is included in the basic data unit;
the header information of the packet includes information indicating which number of divided data of the basic data unit the data stored in the packet is.
Receiving device.
JP2023031252A 2013-09-20 2023-03-01 Transmission method, reception method, transmission device, and reception device Active JP7472345B2 (en)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361880312P 2013-09-20 2013-09-20
US61/880,312 2013-09-20
US201361882770P 2013-09-26 2013-09-26
US61/882,770 2013-09-26
JP2014176180A JP6268066B2 (en) 2013-09-20 2014-08-29 Transmission method, reception method, transmission device, and reception device
JP2020171520A JP6961778B2 (en) 2013-09-20 2020-10-09 Transmission method, reception method, transmitter and receiver
JP2021168143A JP7238066B2 (en) 2013-09-20 2021-10-13 Transmission method, reception method, transmission device and reception device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021168143A Division JP7238066B2 (en) 2013-09-20 2021-10-13 Transmission method, reception method, transmission device and reception device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024063313A Division JP2024096139A (en) 2013-09-20 2024-04-10 Transmission and Reception Methods

Publications (2)

Publication Number Publication Date
JP2023060064A JP2023060064A (en) 2023-04-27
JP7472345B2 true JP7472345B2 (en) 2024-04-22

Family

ID=52688494

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021168143A Active JP7238066B2 (en) 2013-09-20 2021-10-13 Transmission method, reception method, transmission device and reception device
JP2023031252A Active JP7472345B2 (en) 2013-09-20 2023-03-01 Transmission method, reception method, transmission device, and reception device

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021168143A Active JP7238066B2 (en) 2013-09-20 2021-10-13 Transmission method, reception method, transmission device and reception device

Country Status (3)

Country Link
JP (2) JP7238066B2 (en)
CN (1) CN109905748B (en)
WO (1) WO2015040824A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080225778A1 (en) 2007-03-15 2008-09-18 Nokia Corporation Service Discovery Mechanism in Broadcast Telecommunication Network
JP2010136220A (en) 2008-12-05 2010-06-17 Panasonic Corp Communication terminal device, communication volume control method, and integrated circuit
WO2012153450A1 (en) 2011-05-11 2012-11-15 パナソニック株式会社 Video transmission device and video transmission method
US20120320925A1 (en) 2011-06-14 2012-12-20 Samsung Electronics Co. Ltd. Method and apparatus for transmitting/receiving media contents in multimedia system
WO2013111593A1 (en) 2012-01-27 2013-08-01 パナソニック株式会社 Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238309A (en) * 1996-02-29 1997-09-09 Nec Corp Image transmitter
JPH11252544A (en) * 1998-03-03 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> Moving image coder, its method and recording medium
JP2000324489A (en) 1999-05-14 2000-11-24 Sony Corp Method and system for transmitting multi-picture video and method for setting-up the transmitting system
JP3558978B2 (en) 2000-10-05 2004-08-25 日本電信電話株式会社 Stream distribution apparatus and method, and recording medium
JP2003152544A (en) 2001-11-12 2003-05-23 Sony Corp Data communication system, data transmitter, data receiver, data-receiving method and computer program
DE10300048B4 (en) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Image coding method for motion picture expert groups, involves image quantizing data in accordance with quantization parameter, and coding entropy of quantized image data using entropy coding unit
JP3927443B2 (en) * 2002-05-01 2007-06-06 日本電信電話株式会社 Moving picture transmission / reception system and moving picture transmission / reception method
JP2005123907A (en) 2003-10-16 2005-05-12 Matsushita Electric Ind Co Ltd Data reconstruction apparatus
US20060184790A1 (en) 2004-03-26 2006-08-17 Microsoft Corporation Protecting elementary stream content
JP5656879B2 (en) * 2010-07-30 2015-01-21 パナソニックＩｐマネジメント株式会社 Image decoding apparatus, image decoding method, image encoding apparatus, and image encoding method
US9300976B2 (en) * 2011-01-14 2016-03-29 Cisco Technology, Inc. Video encoder/decoder, method and computer program product that process tiles of video data
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
KR102272561B1 (en) * 2011-10-31 2021-07-02 미쓰비시덴키 가부시키가이샤 Moving picture decoding device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080225778A1 (en) 2007-03-15 2008-09-18 Nokia Corporation Service Discovery Mechanism in Broadcast Telecommunication Network
JP2010136220A (en) 2008-12-05 2010-06-17 Panasonic Corp Communication terminal device, communication volume control method, and integrated circuit
WO2012153450A1 (en) 2011-05-11 2012-11-15 パナソニック株式会社 Video transmission device and video transmission method
US20120320925A1 (en) 2011-06-14 2012-12-20 Samsung Electronics Co. Ltd. Method and apparatus for transmitting/receiving media contents in multimedia system
WO2013111593A1 (en) 2012-01-27 2013-08-01 パナソニック株式会社 Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Text of ISO/IEC 2nd CD 23008-1 MPEG Media Transport，ISO/IEC JTC1/SC29/WG11 MPEG/N13293，2013年01月，ｐ．２９－３４，http://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w13293.zip

Also Published As

Publication number Publication date
JP7238066B2 (en) 2023-03-13
CN109905748A (en) 2019-06-18
JP2023060064A (en) 2023-04-27
JP2022003834A (en) 2022-01-11
CN109905748B (en) 2022-05-10
WO2015040824A1 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
JP6961778B2 (en) Transmission method, reception method, transmitter and receiver
JP6966581B2 (en) Transmission method, reception method, transmitter and receiver
JP7457098B2 (en) Transmission method, reception method, transmission device and reception device
JP6846629B2 (en) Transmission method, reception method, transmission device and reception device
JP7472345B2 (en) Transmission method, reception method, transmission device, and reception device
JP2024096139A (en) Transmission and Reception Methods
JP7012257B2 (en) Transmission method, reception method, transmitter and receiver

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240410

R150 Certificate of patent or registration of utility model

Ref document number: 7472345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150