JP6490284B2 - Content distribution system - Google Patents
Content distribution system Download PDFInfo
- Publication number
- JP6490284B2 JP6490284B2 JP2018106278A JP2018106278A JP6490284B2 JP 6490284 B2 JP6490284 B2 JP 6490284B2 JP 2018106278 A JP2018106278 A JP 2018106278A JP 2018106278 A JP2018106278 A JP 2018106278A JP 6490284 B2 JP6490284 B2 JP 6490284B2
- Authority
- JP
- Japan
- Prior art keywords
- file
- moving image
- udp
- packet
- http
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Computer And Data Communications (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
この発明は、テレビ放送等の動画コンテンツをマルチキャスト配信するコンテンツ配信システムに関する。 The present invention relates to a content distribution system for multicast distribution of moving image content such as television broadcasting.
通信ネットワークを使用してテレビ放送を配信するテレビ放送配信サービス等、種々の動画配信サービスが提供されている。テレビ放送は多くの視聴者が同時に視聴を行うのでマルチキャスト送信を利用することが好ましい(特許文献1および特許文献2)。ところで、インターネットにおいては、上位プロトコルとしてHTTPを使用することが多く、HTTPに準拠して、動画を送信する、動画配信サービスが提供されている(例えば、米国アップル社のHTTP Live Streaming)。このような動画配信サービスでは、複数の動画セグメントファイルをプレイリスト情報を参照して配信している。しかしながら、HTTPに準拠した動画配信サービスをマルチキャスト送信により実現しようとする場合、コネクションレスのUDPを用いるため、通信ロスが生じやすく、セグメントファイル単位で再生ロスの原因となる。通常のデジタルテレビ放送の場合、MPEG2−TSパケット単位(188バイト固定長)での情報ロスになり、映像中に横方向に太さ16ドットの筋状のノイズが、0.5秒程度あらわれる程度であるけれども、IPマルチキャストのUDPパケットに起因して、セグメントファイル単位で情報ロスが生じると、数秒〜数十秒の間、映像が停止してしまう。
Various video distribution services such as a television broadcast distribution service that distributes a television broadcast using a communication network are provided. In television broadcasting, it is preferable to use multicast transmission because many viewers watch at the same time (
上述の従来技術やその問題点は、この発明の背景の一部を説明するためにのみ説明している。この発明は上述の従来技術や問題点に限定されるものではない点に留意されたい。 The above-described prior art and its problems are described only to explain a part of the background of the present invention. It should be noted that the present invention is not limited to the above-described prior art and problems.
この発明は、以上の事情を考慮してなされたものであり、HTTPに準拠して動画を配信する場合に、IPマルチキャスト通信を用い、さらに、再生ロスを可及的に減少させるコンテンツ配信技術を提供することを目的としている。 The present invention has been made in consideration of the above circumstances, and is a content distribution technique that uses IP multicast communication and further reduces reproduction loss as much as possible when distributing video in compliance with HTTP. It is intended to provide.
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。 According to this invention, in order to achieve the above-mentioned object, the configuration as described in the claims is adopted. Here, prior to describing the invention in detail, supplementary explanations of the claims will be given.
この発明の一側面によれば、上述の目的を達成するために、通信ネットワークに接続可能な動画コンテンツ処理装置を:複数のTSパケットを含む動画ファイルを分解してIPマルチキャスト送信されてくるUDPパケットを受け取るUDPパケット受信手段と;上記UDPパケット受信手段が受け取ったUDPパケットから上記動画ファイルに再構築する動画ファイル再構築手段と;上記動画ファイル再構築手段が再構築した上記動画ファイルを上記通信ネットワークを介してユーザ端末にHTTPに準拠して送信する送信手段とを含んで構成し;上記動画ファイル再構築手段は、上記動画ファイルに対応する複数のUDPパケットのうちの少なくとも1つのUDPパケットを受け取らない場合に、完全なTSパケットのみを含む態様で上記動画ファイルを再構築するようにしている。 According to one aspect of the present invention, in order to achieve the above-described object, a moving image content processing apparatus connectable to a communication network: a UDP packet that is transmitted by IP multicast after disassembling a moving image file including a plurality of TS packets A moving picture file reconstructing means for reconstructing the moving picture file from a UDP packet received by the UDP packet receiving means; and the moving picture file reconstructed by the moving picture file reconstructing means in the communication network. And transmitting means for transmitting to the user terminal via HTTP; the moving image file reconstructing means receives at least one UDP packet among a plurality of UDP packets corresponding to the moving image file. If there is no So that to rebuild the video file.
また、この発明の他の側面によれば、上述の目的を達成するために、通信ネットワークに接続可能なユーザ端末を:複数のTSパケットを含む動画ファイルを再生する再生手段と;複数のTSパケットを含む動画ファイルを分解してIPマルチキャスト送信されてくるUDPパケットを受け取るUDPパケット受信手段と;上記UDPパケット受信手段が受け取ったUDPパケットから上記動画ファイルに再構築してHTTPに準拠して上記再生手段に供給する動画ファイル再構築手段とを含んで構成し;上記動画ファイル再構築手段は、上記動画ファイルに対応する複数のUDPパケットのうちの少なくとも1つのUDPパケットを受け取らない場合に、完全なTSパケットのみを含む態様で上記動画ファイルを再構築するようにしている。 According to another aspect of the present invention, in order to achieve the above-mentioned object, a user terminal connectable to a communication network: reproduction means for reproducing a moving image file including a plurality of TS packets; and a plurality of TS packets UDP packet receiving means for disassembling a moving image file containing IP packets received by IP multicast transmission; reconstructing the moving image file from the UDP packet received by the UDP packet receiving means and reproducing the information in accordance with HTTP A moving image file reconstructing means for supplying to the means; the moving image file reconstructing means is complete when at least one UDP packet of a plurality of UDP packets corresponding to the moving image file is not received. The video file is reconstructed in a mode that includes only TS packets.
また、この発明の他の側面によれば、上述の目的を達成するために、コンピュータプログラムが、通信ネットワークに接続可能なユーザ端末を:複数のTSパケットを含む動画ファイルを再生する再生手段;複数のTSパケットを含む動画ファイルを分解してマルチキャスト送信されてくるUDPパケットを受け取るUDPパケット受信手段;上記UDPパケット受信手段が受け取ったUDPパケットから上記動画ファイルを再構築してHTTPに準拠して上記再生手段に供給する動画ファイル再構築手段として実現させるために使用され;上記動画ファイル再構築手段は、上記動画ファイルに対応する複数のUDPパケットのうちの少なくとも1つのUDPパケットを受け取らない場合に、完全なTSパケットのみを含む態様で上記動画ファイルを再構築するようになっている。 According to another aspect of the present invention, in order to achieve the above-mentioned object, a computer program allows a user terminal connectable to a communication network: a reproduction means for reproducing a moving image file including a plurality of TS packets; UDP packet receiving means for decomposing a moving picture file including a TS packet and receiving a UDP packet sent by multicast transmission; reconstructing the moving picture file from the UDP packet received by the UDP packet receiving means and complying with HTTP Used for realizing as a moving image file reconstructing means to be supplied to the reproducing means; the moving image file restructuring means does not receive at least one UDP packet among a plurality of UDP packets corresponding to the moving image file; The above video frame is included in a manner that includes only complete TS packets. It is adapted to reconstruct the file.
また、この発明の他の側面によれば、上述の目的を達成するために、コンピュータプログラムが、通信ネットワークに接続可能な動画コンテンツ処理装置を:複数のTSパケットを含む動画ファイルを分解してIPマルチキャスト送信されてくるUDPパケットを受け取るUDPパケット受信手段;上記UDPパケット受信手段が受け取ったUDPパケットから上記動画ファイルに再構築する動画ファイル再構築手段;上記動画ファイル再構築手段が再構築した上記動画ファイルを上記通信ネットワークを介してユーザ端末にHTTPに準拠して送信する送信手段として実現させるために使用され;上記動画ファイル再構築手段は、上記動画ファイルに対応する複数のUDPパケットのうちの少なくとも1つのUDPパケットを受け取らない場合に、完全なTSパケットのみを含む態様で上記動画ファイルを再構築するようになっている。 According to another aspect of the present invention, in order to achieve the above-described object, a computer program can be used to dispose a moving image content processing apparatus connectable to a communication network: a moving image file including a plurality of TS packets and an IP UDP packet receiving means for receiving a UDP packet transmitted by multicast; a moving picture file reconstructing means for reconstructing the moving picture file from the UDP packet received by the UDP packet receiving means; and the moving picture reconstructed by the moving picture file reconstructing means Used to realize a transmission means for transmitting a file to the user terminal via the communication network in conformity with HTTP; the moving picture file reconstructing means includes at least one of a plurality of UDP packets corresponding to the moving picture file; Does not accept one UDP packet The case, so as to reconstruct the moving picture file in a manner that includes only complete TS packet.
この構成において、上記受け取られなかったUDPパケットに対応する部分にTSパケットのヌルパケットを用いて完全なTSパケットのみを含む態様で上記動画ファイルを再構築して良い。 In this configuration, the moving image file may be reconstructed in such a manner that only a complete TS packet is included in the portion corresponding to the UDP packet that has not been received using a null packet of the TS packet.
この構成において、上記第1の処理装置は、いずれのTSパケットも2つの前後するUDPパケットに跨って分割されないようにして良い。 In this configuration, the first processing device may prevent any TS packet from being divided across two adjacent UDP packets.
また、この構成において、上記第1の処理装置から送信される上記UDPパケットは、完全な複数のTSパケットとパッド部とを含み、上記第2の処理装置は、受け取ったUDPパケットに含まれる完全な複数のTSパケットから上記動画ファイルを再構築する請求項6記載の動画コンテンツ処理装置。
In this configuration, the UDP packet transmitted from the first processing device includes a plurality of complete TS packets and a pad unit, and the second processing device includes the complete UDP packet included in the received UDP packet. The moving image content processing apparatus according to
また、この構成において、上記動画ファイルは、HTTP Live Streaming(米国アップル社の商標)、MPEG−DASH(ISO/IEC23009−1)、HTTP Dynamic Streaming(米国Adobe Systems社の商標)、または、Smooth Streaming(米国Microsoft社の商標)のHTTPストリーミング手法により送信されて良い。 In this configuration, the moving image file includes HTTP Live Streaming (trademark of Apple Inc., USA), MPEG-DASH (ISO / IEC 2309-1), HTTP Dynamic Streaming (trademark of Adobe Systems Inc., USA), or Smooth Stream (trademark of USA). It may be transmitted by the HTTP streaming technique of Microsoft Corporation (USA).
さらに、ここで説明する技術的特徴についてまとめておく。ここで説明する技術的特徴の一側面によれば、上述の目的を達成するために、動画コンテンツ配信システムを:複数のTSパケットを含む動画ファイルをUDPパケットに分解してIPマルチキャスト送信する第1の処理装置と;上記第1の処理装置からIPマルチキャスト送信されてくるUDPパケットを受け取って動画ファイルに再構築してユーザ端末にHTTPに準拠して送信する第2の処理装置とを含んで構成し;上記第2の処理装置は、上記動画ファイルに対応する複数のUDPパケットのうちの少なくとも1つのUDPパケットを受け取らない場合に、完全なTSパケットのみを含む態様で上記動画ファイルを再構築するようにしている。 Furthermore, the technical features described here will be summarized. According to one aspect of the technical features described herein, in order to achieve the above-described object, the moving image content distribution system includes: a first moving image file including a plurality of TS packets into UDP packets and IP multicast transmission; And a second processing device that receives a UDP packet transmitted by IP multicast from the first processing device, reconstructs it into a moving image file, and transmits it to the user terminal in accordance with HTTP. And the second processing device reconstructs the moving image file in such a manner that only the complete TS packet is included when at least one UDP packet of a plurality of UDP packets corresponding to the moving image file is not received. I am doing so.
TSパケットは、トランスポートストリームを構成するパケット(トランスポートストリームパケット)であり、典型的には、MPEG2−TS(Moving Picture Experts Group 2 Transport Stream)の規格に規定されるMPEG−2 TSパケットであるけれども、これに限定されない。 The TS packet is a packet constituting a transport stream (transport stream packet), and is typically an MPEG-2 TS packet defined by the MPEG2-TS (Moving Picture Experts Group 2 Transport Stream) standard. However, it is not limited to this.
動画ファイルは、映像データおよび音声データを含んで良く、典型的には、HTTP Live Streaming(米国アップル社)、MPEG−DASH(ISO/IEC23009−1)、HTTP Dynamic Streaming(米国Adobe Systems社)、Smooth Streaming(米国Microsoft社)等のHTTPストリーミング手法で送信する動画ファイル(セグメントファイル)であって良い。 The moving image file may include video data and audio data. Typically, the moving image file typically includes HTTP Live Streaming (Apple Inc., USA), MPEG-DASH (ISO / IEC 2309-1), HTTP Dynamic Streaming (Adobe Systems Inc., USA), and Smooth. It may be a moving image file (segment file) transmitted by an HTTP streaming method such as Streaming (Microsoft Corporation, USA).
この構成において、上記受け取られなかったUDPパケットに対応する部分にTSパケットのヌルパケット(NULLパケット)を用いて完全なTSパケットのみを含む態様で上記動画ファイルを再構築してよい。 In this configuration, the moving image file may be reconstructed in such a manner that only a complete TS packet is included using a null packet (NULL packet) of a TS packet in a portion corresponding to the UDP packet not received.
ヌルパケット(NULLパケット)は、パケットの内容が無効であることを示すものであり、ヘッダを含むすべてのビットが「1」である。ヌルパケットに代えて、動画を再生する際に、パケットの内容が利用できないことを示すパケット、または再生側でそのように解釈できるように構成されている場合には、そのような特定のパケットを採用して良い。、また、MPEG−2 TSパケットのヘッダのトランスポートエラーインジケータフラグを「1」にセットしたパケットでもよい。 The null packet (NULL packet) indicates that the content of the packet is invalid, and all the bits including the header are “1”. Instead of a null packet, when playing a video, a packet indicating that the contents of the packet cannot be used, or if the playback side can be interpreted as such, such a specific packet is May be adopted. Alternatively, the packet may be a packet in which the transport error indicator flag in the header of the MPEG-2 TS packet is set to “1”.
また、上記第1の処理装置は、いずれのTSパケットも2つの前後するUDPパケットに跨って分割されないようにしてよい。 Further, the first processing apparatus may prevent any TS packet from being divided across two preceding and following UDP packets.
この場合、上記第1の処理装置から送信される上記UDPパケットは、完全な複数のTSパケットとパッド部とを含んで良く、上記第2の処理装置は、受け取ったUDPパケットに含まれる完全な複数のTSパケットから上記動画ファイルを再構築してよい。 In this case, the UDP packet transmitted from the first processing device may include a plurality of complete TS packets and a pad unit, and the second processing device may include the complete UDP packet included in the received UDP packet. The moving image file may be reconstructed from a plurality of TS packets.
また、上記第1の処理装置は、動画サーバから、複数のTSパケットを含む動画ファイルをHTTPに準拠して受け取り、上記動画ファイルをUDPパケットに分解してマルチキャスト送信してよい。 The first processing device may receive a moving image file including a plurality of TS packets from the moving image server in conformity with HTTP, disassemble the moving image file into UDP packets, and transmit the multicast file by multicast transmission.
また、ここで説明する技術的特徴の他の側面によれば、上述の目的を達成するために、複数のTSパケットを含む動画ファイルを分解してIPマルチキャスト送信されてくるUDPパケットを受け取って上記動画ファイルに再構築する処理装置は、上記動画ファイルに対応する複数のUDPパケットのうちの少なくとも1つのUDPパケットを受け取らない場合に、完全なTSパケットのみを含む態様で上記動画ファイルを再構築する。 Further, according to another aspect of the technical feature described here, in order to achieve the above-described object, the above-described object is received by receiving a UDP packet transmitted by IP multicast by disassembling a moving image file including a plurality of TS packets. A processing device for reconstructing a moving image file reconstructs the moving image file in such a manner that only a complete TS packet is included when at least one UDP packet of a plurality of UDP packets corresponding to the moving image file is not received. .
また、ここで説明する技術的特徴の他の側面によれば、上述の目的を達成するために、複数のTSパケットを含む動画ファイルを分解してIPマルチキャスト送信されてくるUDPパケットを受け取って上記動画ファイルに再構築して再生するユーザ端末は、上記動画ファイルに対応する複数のUDPパケットのうちの少なくとも1つのUDPパケットを受け取らない場合に、完全なTSパケットのみを含む態様で上記動画ファイルを再構築する。 Further, according to another aspect of the technical feature described here, in order to achieve the above-described object, the above-described object is received by receiving a UDP packet transmitted by IP multicast by disassembling a moving image file including a plurality of TS packets. When a user terminal that reconstructs and plays back a moving image file does not receive at least one UDP packet among a plurality of UDP packets corresponding to the moving image file, the user terminal displays the moving image file in a mode including only a complete TS packet. Rebuild.
また、ここで説明する技術的特徴の他の側面によれば、上述の目的を達成するために、コンピュータプログラムが、通信ネットワークに接続可能なユーザ端末を:複数のTSパケットを含む動画ファイルを分解してIPマルチキャスト送信されてくるUDPパケットを受け取る手段と;上記受け取ったUDPパケットから上記動画ファイルを再構築する手段と;再構築された上記動画ファイルを再生する手段として実現させ、再構築する手段は、上記動画ファイルに対応する複数のUDPパケットのうちの少なくとも1つのUDPパケットを受け取らない場合に、完全なTSパケットのみを含む態様で上記動画ファイルを再構築する。 According to another aspect of the technical features described herein, in order to achieve the above-described object, a computer program can disassemble a user terminal that can be connected to a communication network: a video file including a plurality of TS packets. Means for receiving a UDP packet transmitted by IP multicast; means for reconstructing the moving image file from the received UDP packet; means for realizing and reconstructing the reconstructed moving image file When not receiving at least one UDP packet among a plurality of UDP packets corresponding to the moving image file, the moving image file is reconstructed so as to include only a complete TS packet.
また、ここで説明する技術的特徴の他の側面によれば、動画コンテンツ配信システムに:HTTPサーバから受信した複数のTSパケットを含む動画ファイルをUDPパケットに分解してIPマルチキャスト送信する第1の処理装置と;上記第1の処理装置からIPマルチキャスト送信されてくるUDPパケットを受け取って動画ファイルに再構築してユーザ端末にHTTPに準拠して送信する第2の処理装置とを設けるようにしている。 Also, according to another aspect of the technical feature described here, the first aspect of the present invention is a video content distribution system: a first method of decomposing a video file including a plurality of TS packets received from an HTTP server into UDP packets and performing IP multicast transmission A processing device; and a second processing device that receives a UDP packet transmitted from the first processing device by IP multicast and reconstructs it into a moving image file and transmits it to the user terminal in conformity with HTTP. Yes.
また、ここで説明する技術的特徴のさらに他の側面によれば、動画配信システムに:複数のTSパケットを含む動画ファイルをUDPパケットに分解してIPマルチキャスト送信する第1の処理装置と;上記第1の処理装置からIPマルチキャスト送信されてくるUDPパケットを受け取って動画ファイルに再構築してユーザ端末にHTTPに準拠して送信する第2の処理装置とを設け;上記第2の処理装置は、HTTPヘッダに対応するUDPパケットを受け取らない場合に、クライアント装置から、当該UDPパケットを含む動画ファイルを送信するようにHTTP要求を受けたときに、コンテンツ長がゼロであることを示すHTTP応答を返すようにしている。 According to still another aspect of the technical feature described herein, the moving image distribution system includes: a first processing device that decomposes a moving image file including a plurality of TS packets into UDP packets and transmits the IP multicast; A second processing device that receives a UDP packet transmitted from an IP multicast from the first processing device, reconstructs it into a moving image file, and transmits it to a user terminal in accordance with HTTP; When an UDP request corresponding to the HTTP header is not received, an HTTP response indicating that the content length is zero is received when an HTTP request is received from the client device to transmit a moving image file including the UDP packet. I am trying to return it.
動画ファイルのHTTPヘッダの部分がUDPパケットの損失で正確に記述されない場合などでは、再生がフリーズする等の問題があるけれども、この構成では、当該動画ファイルの再生がスキップされて、後続の動画ファイルが適宜に再生可能になる。 When the HTTP header portion of the video file is not accurately described due to the loss of the UDP packet, there is a problem that the playback freezes. However, in this configuration, the playback of the video file is skipped, and the subsequent video file Can be appropriately reproduced.
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。 The present invention can be realized not only as an apparatus or a system but also as a method. Of course, a part of the invention can be configured as software. Of course, software products used to cause a computer to execute such software are also included in the technical scope of the present invention.
この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。 These and other aspects of the invention are set forth in the appended claims and will be described in detail below with reference to examples.
以下、この発明の実施例について説明する。 Examples of the present invention will be described below.
図1は、この発明の動画コンテンツ配信システムの1実施例を示しており、この図において、動画コンテンツ配信システム100は、HTTP配信サーバ200、ファイルパケット化装置300、ファイル再構築装置400、コンテンツ配信ネットワーク500、UDP非対応端末装置600、およびUDP対応端末装置700等を含んで構成されている。ファイル再構築装置400は、後述するように、ファイルパケット化装置300からIPマルチキャストでUDPパケットを受け取るものであり、典型的には複数設けられる。UDP非対応端末装置600およびUDP対応端末装置700も図では1つしか示されないけれども典型的には複数個設けられる。UDP非対応端末装置600は、位置情報等に基づいてどのファイル再構築装置400にアクセスするかを決定できる。
FIG. 1 shows an embodiment of a moving image content distribution system according to the present invention. In this drawing, a moving image
コンテンツ配信ネットワーク500は、ユニキャスト通信のほか、マルチキャスト通信を効率よく実現できるネットワークである。コンテンツ配信ネットワーク500は、マルチキャスト通信を効率よく実現するために専用のネットワークサービスを利用することが好ましいが、これに限定されない。
The
HTTP配信サーバ200は、動画コンテンツ例えばテレビ放送コンテンツのファイルをHTTPを利用して配信する。このHTTP配信サーバ200は、HTTPに準拠してファイルをクライアントに送信して動画コンテンツ配信を行うものであり、例えば、米国アップル社のHLS(HTTP Live Streaming)システムであり、HTTPに準拠したWebサーバで実現可能である。この例では、HTTP配信サーバ200は図示しない通信ネットワークに接続されているけれども、コンテンツ配信ネットワーク500に接続されても良い。また、UDP非対応端末装置600等は、慣用的な態様と同様に、HTTP配信サーバ200からIPユニキャストで動画コンテンツ配信サービスを利用してよい。
The
HTTPに準拠した動画配信サービスは、図9に示すような、プレイリストファイル(例えばm3u8ファイル)および1または複数の動画セグメントファイル(MPEG2−TSセグメントファイル)を用意する。図9の例では、マスターインデックスファイルを用いて解像度の異なる複数(2つ)の代替プレイリストを選択できるようになっている。プレイリストが1つだけであてもよい。代替プレイリスト(プレイリスト)は書き換えられて繰り返し送信されて良い。プレイリストを参照して動画セグメントファイルを順次に取り出すことができる。 The moving image distribution service compliant with HTTP prepares a playlist file (for example, m3u8 file) and one or more moving image segment files (MPEG2-TS segment file) as shown in FIG. In the example of FIG. 9, a plurality of (two) alternative playlists having different resolutions can be selected using the master index file. There may be only one playlist. The alternative playlist (playlist) may be rewritten and repeatedly transmitted. Moving image segment files can be sequentially retrieved with reference to the playlist.
HTTP配信サーバ200は、図10に示す従来のHTTP手順と同様に、HTTPクライアントであるファイルパケット化装置300からのプレイリスト要求(マスターインデックス、代替プレイリストの要求)に基づいてマスターインデックスファイル、代替プレイリストファイル(以下、単にプレイリストと呼ぶことがある)をファイルパケット化装置300に返す。そののち、HTTP配信サーバ200は、ファイルパケット化装置300からのセグメント要求に応じて順次に動画セグメントファイルを返す。動画セグメントファイルは例えばMPEG2−TSパケットを含んで構成される。
Similar to the conventional HTTP procedure shown in FIG. 10, the
ファイルパケット化装置300は、HTTP配信サーバ200のクライアントとして動画配信サービスのプレイリストファイルおよび動画セグメントファイルを受け取り、これらのファイルをUDPパケットに分割して所定のマルチキャストグループでIPマルチキャスト送信する。ファイルパケット化装置300は、図3に示すように、HTTPクライアント処理部301、記憶部302、パケット化部303、および送信部304を含んで構成される。
The
ファイルパケット化装置300のHTTPクライアント処理部301は、HTTP配信サーバ200からプレイリストファイルおよび動画セグメントファイルを受信する。図4の(a)欄は、HTTPクライアント処理部301が受信した動画セグメントファイルの例を示す。記憶部302は、受信したファイルを記憶する。パケット化部303は、HTTPクライアント処理部301が受信したファイルをUDPパケットに分解する。図4の(b)欄は、図4の(a)欄の動画セグメントファイルをUDPパケットに分解したものである。図4の(a)欄の動画セグメントファイルは典型的には数秒から数十秒の長さのデータであるが、これに限定されない。図4の(b)欄のUDPパケットは、パケット化ヘッダ、HTTPヘッダ、ペイロードを含み、パケットヘッダは、(c)欄に示すように、ヘッダサイズ(header_size)、ストリーム識別子(stream_id)、開始フラグ(start_flag)、総合サイズ(total_size)、ペイロードサイズ(payload_size)、およびペイロードオフセット(payload_offset)を含む。ヘッダサイズ(header_size)は、パケット化ヘッダおよびHTTPヘッダの合計サイズを示し、ストリーム識別子(stream_id)は、当該UDPパケットがどのファイルに所属するかを示す識別子であり、開始フラグ(start_flag)は、先頭のUDPパケットであることを示すフラグであり、総合サイズ(total_size)は、ファイルの総バイト数を示し、ペイロードサイズ(payload_size)は、当該UDPパケットで送られるファイル部分のバイト数を示し、ペイロードオフセット(payload_offset)は、当該UDPパケットで送られるファイル部分の開始位置を示す。その他、前方誤り訂正符号(FEC)等を含んでよい。UDPパケットは典型的にはイーサネットに準拠して1500バイト以下の固定長であるけれども、これに限定されない。動画コンテンツのTSパケットは分割されることなく1つのUDPパケットに含まれ、UDPパケットの各々でペイロード部分に残余がある場合には、埋め込み部分(パッド)を含ませ良い。
The HTTP
プレイリストファイルも、TSパケットに関連する考慮を除いて、同様にUDPパケット化される。 The playlist file is similarly converted into a UDP packet, except for considerations related to TS packets.
送信部304は、マルチキャストグループを指定してIPマルチキャストでUDPパケットを配信する。
The
ファイル再構築装置400は、適宜に、ファイルパケット化装置300のマルチキャストグループに参加し、ファイルパケット化装置300からコンテンツ配信ネットワーク500を介してIPマルチキャストで送信されるUDPパケットを受信し、プレイリストファイルおよび動画セグメントファイルを再構築する。
The
ファイル再構築装置400は、図5に示すように、UDPパケット受信部401、UDPパケット損失検出部402、ヌルパケット挿入部403、パケット連結部404、記憶部405、およびHTTPサービス部406を含む。UDPパケット受信部401は、当該IPマルチキャストのグループに参加し、宛先ポートでUDPパケットを受信するものである。UDPパケット損失検出部402は、動画セグメントファイルを構成するUDPパケットが受信されないときには、これを例えばpayload−size、CRCチェックコード、チェックサム等に基づいて検出し、さらに損失位置のUDPパケットをpayload−0ffsetから検出し、ヌルパケット挿入部403が、これに代えて、TSパケットのヌルパケットを挿入する(図6)。ヌルパケットはヘッダを含めてすべてビットは「1」の値をとるパケットである。プレイリストファイルについては、繰り返し送信されてくるので、UDPパケット損失が検出されたときには、ファイルを破棄し、次回に送られてくるプレイリストファイルの受信を待って良い。UDPパケットが動画セグメントファイルのものかプレイリストファイルのものかは、UDPパケットのHPPTヘッダに含まれるコンテンツタイプに基づいて判定できる、例えば、図7(a)に示すように「Content−Type:video/MP2」の場合には動画セグメントファイルのUDPパケットであると判定して損失部分にTSパケットのヌルパケットを挿入する。あるいは、図7(b)に示すようにHTTPヘッダにNP(NULL Packet)補完フラグのフィールドを設け、動画セグメントファイルのUDPパケットのHTTPヘッダにNP補完フラグをフラグ付けしてもよい。
As shown in FIG. 5, the
UDPパケット検出部402は、UDPパケットにシリアル番号が付与されるときには、その連続性に基づいてUDPパケットの損失を判別して良い。
When a UDP packet is assigned a serial number, the UDP
なお、プレイリスト応答およびセグメントファイル応答のHTTP電文の例は、図11(a)および(b)に示すとおりであり、「Content−Type」を下線で示す。 Examples of HTTP messages for playlist responses and segment file responses are as shown in FIGS. 11A and 11B, and “Content-Type” is underlined.
パケット連結部404は、UDPパケットをlayload−offset等に基づいて順序付けて、また、動画セグメントファイルの欠損位置にTSパケットのヌルパケットを挿入してファイルを再構築する。ファイルを再構築する際には、不要な埋め込み部(Pad)は除去される。所定のファイル記憶管理部が、再構築したプレイリストファイルおよび動画セグメントファイルを記憶部405に記憶管理する。
The
HTTPサービス部406は、UDP非対応端末装置600からのHTTPの要求に基づいて図10に示したものと同様の態様でプレイリストファイルおよび動画セグメントファイルをUDP非対応端末装置600に返す。UDP非対応端末装置600は受け取ったファイルに基づいて動画を再生する。UDP非対応端末装置600はHTTP端末として機能できるものであれば、どのようなものでもよく、典型的にはスマートフォン等の携帯端末であるけれどもこれに限定されず、どのような情報端末(情報化家庭電器製品を含む)であってもよい。
The
UDP非対応端末装置600を構成する携帯端末の例は、図8に示すようなものである。図8において、携帯端末800は、処理システム810、メモリ820、入出力サブシステム830、高周波回路部840、および音声回路部850を含む。構成要素の各々は、適宜、信号処理集積回路、特定用途向け集積回路、を含むハードウェア、ソフトウェア、またはこれらを組み合わせて実現できる。高周波回路部840は、他の装置に、無線リンクまたはネットワーク上で情報を送信・受信するのに用いられ、この機能を実行するために、アンテナ・システム、RF送受信機、増幅器、チューナ、発振器、デジタル信号プロセッサ、CODECチップセット、メモリ、その他の周知の回路構成を含むがこれらに限られない。高周波回路部840は、時分割多重アクセス(TDMA)、符号分割多重接続(CDMA)等のモバイル通信、無線LAN(IEEE 802.11b、IEEE802.11a、IEEE802.11g及び/又はIEEE802.11N)、ブルートゥース(IEEE802.15.1)、Wi−MAX(IEEE802.16)等の通信プロトコルを利用できるけれども、これに限定されない。音声回路部850は、音声スピーカ851とマイクロフォン852に連結される。処理システム810はプロセッサ811、メモリコントローラ812、周辺装置インターフェース813を含む、メモリ820は、プロセッサ811が実行するコードやデータを格納する。メモリ820は、RAM、ROM、FLASH、ディスク・ドライブ、磁気テープ等の任意の記憶装置を含んで良い。プロセッサ811は、メモリ820に格納された多様なソフトウェア・コンポーネントを実行する。例えば、ソフトウェア・コンポーネントは、オペレーティング・システム821、通信モジュール822、接触/動作モジュール823、グラフィック・モジュール824、アプリケーション825、タイマ・モジュール826、およびウェブ・ブラウザ・モジュール827を含む。アプリケーション825は、ブラウザ、アドレス帳、電子メール、暗号化、グローバル・ポジショニング・システム(GPS)等の位置決定機能、および、動画コンテンツ再生機能を含む。この実施例では、携帯端末は、例えば、UDP非対応端末装置600として動作し、HTTPクライアントおよび動画再生部の少なくとも一部はアプリケーション825として実現される。対応するアプリケーションをメモリ820にインストールすることにより携帯端末800をHTTPクライアントおよび動画再生部として機能させる。
An example of a portable terminal constituting the non-UDP compatible
UDP対応端末装置700は、ファイル再構築装置400の機能を有するものであり、ファイルパケット化装置300からIPマルチキャストで配信されてくるUDPパケットを受信してプレイリストファイルおよび動画セグメントファイルを再構築し動画を再生するものである。UDP対応端末装置700は、ファイル再構築装置400のUDPパケット損失検出部402およびヌルパケット挿入部403と同等の機能部によりUDPパケット損失に対応できる。UDP対応端末装置700を図8に示す携帯端末で実現できる。すなわち、図12に示すように、UDP対応装置700は、UDPパケット受信部701、UDPパケット損失検出部702、ヌルパケット挿入部703、パケット連結部704、記憶部705、動画再生部706を含んで構成される。これらのうち、UDPパケット受信部701、UDPパケット損失検出部702、ヌルパケット挿入部703、パケット連結部704、記憶部705は、ファイル再構築装置400のUDPパケット受信部401、UDPパケット損失検出部402、ヌルパケット挿入部403、パケット連結部404、記憶部405と同様に構成して良い。動画再生部706は、記憶部705に記憶されたプレイリストファイルおよび動画セグメントファイルを用いて動画を再生するものである。この場合、直接にファイルをアクセスするように構成してもよいし、HTTPに準拠してファイルを取得してもよい。図12に示すUDPパケット受信部701、UDPパケット損失検出部702、ヌルパケット挿入部703、およびパケット連結部704等を携帯端末800のアプリケーション825で実現してよい。
The UDP-compatible
図2は、図1の動画コンテンツ配信システム100の全般的な動作を示す。図2において、動画コンテンツは、HTTP配信サーバ200からIPユニキャストでファイルパケット化装置300に送られ、さらに、ファイルパケット化装置300からIPマルチキャストでファイル再構築装置400に送られ、さらに、UDP非対応端末装置600にIPユニキャストで送られる。図2では示さないが、UDP対応端末装置700がファイル再構築装置400の位置に配置され、動画コンテンツをファイルパケット化装置300からIPマルチキャストで受け取って動画を再生する。
FIG. 2 shows the overall operation of the moving image
まず、ファイルパケット化装置300は、プレイリストファイルの取得要求をHTTP配信サーバ200に送る(X01)。HTTP配信サーバ200はこれに応じてプレイリストをファイルパケット化装置300に返す(X02)。こののち、ファイルパケット化装置300は、プレイリストに記述された動画セグメントファイルについて順次に取得要求をHTTP配信サーバ200に送り(X03)、HTTP配信サーバ200はこれに応じて動画セグメントファイルを順次にファイルパケット化装置300に返す(X04)。
First, the
ファイルパケット化装置300は受け取ったプレイリストファイルおよび動画セグメントファイルをUDPパケットに分解してファイル再構築装置400にIPマルチキャストで配信する(X05)。以上の処理X01〜X05が繰り返し実行される。
The
ファイル再構築装置400は受け取ったUDPパケットからプレイリストファイルおよび動画セグメントファイルを再構築して記憶部405に記憶保持する(X06、X07)。なお、動画セグメントファイルの再構築に際してUDPのパケット損失がある場合にはこれをヌルパケットに置換する。プレイリストファイルを再構築するときにUDPパケットの損失がある場合には、大構築中のプレイリストファイルを破棄し、次回に配信されてくるプレイリストファイルのUDPパケットにより再構築を行う。
The
ファイル再構築装置400は、UDP非対応端末装置600に対してHTTPサーバとして機能する。すなわち、UDP非対応端末装置600は、プレイリストファイルの取得要求をファイル再構築装置400に送る(X08)。ファイル再構築装置400はこれに応じてプレイリストをUDP非対応端末装置600に返す(X09)。こののち、UDP非対応端末装置600は、プレイリストに記述された動画セグメントファイルについて順次に取得要求をファイル再構築装置400に送り(X10)、ファイル再構築装置400はこれに応じて動画セグメントファイルを順次にUDP非対応端末装置600に返す(X11)。UDP非対応端末装置600は動画セグメントファイルに基づいて順次に動画を生成する。
The
以上で実施例の説明を終了する。 This is the end of the description of the embodiment.
なお、この発明は特許請求の範囲の記載に基づいて決定されるものであり、実施例の具体的な構成、課題、および効果には限定されない。この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。 In addition, this invention is determined based on description of a claim, and is not limited to the specific structure of the Example, a subject, and an effect. The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
なお、上述の例では、損失UDPパケットに相当する部分にTSパケットのヌルパケットを挿入したけれども、完全なTSパケットのみを含むものであれば、TSパケットのヌルパケットを挿入しなくてもよい。例えば、図6の例で、ヌルパケットを除いて、成功裏に受信されたUDPパケットに含まれる完全なHTTPヘッダおよび完全なTSパケットを含むようにファイルを再構築してよい。 In the above example, the null packet of the TS packet is inserted in the portion corresponding to the lost UDP packet. However, if only the complete TS packet is included, the null packet of the TS packet may not be inserted. For example, in the example of FIG. 6, the file may be reconstructed to include a complete HTTP header and a complete TS packet included in a successfully received UDP packet, except for null packets.
また、セグメントファイルの損失UDPパケットがHTTPヘッダに相当する場合には、HTTPヘッダが棄損している。これに対処するために、当該セグメントファイルについてクライアントからHTTP要求があった場合には、コンテンツ長(Content−Length)がゼロであることを示すHTTP応答、例えば図13に示すようなHTTP応答を返して良い。図13ではコンテンツ長の記述を矢印で示す。この構成では、当該動画ファイルの再生がスキップされて、後続の動画ファイルが、適宜に、例えばTSストリームのタイムスタンプに基づくタイミングで、再生できる。このHTTP応答には本体は含まれない。 In addition, when the lost UDP packet of the segment file corresponds to the HTTP header, the HTTP header is lost. In order to cope with this, when there is an HTTP request from the client for the segment file, an HTTP response indicating that the content length (Content-Length) is zero, for example, an HTTP response as shown in FIG. 13 is returned. Good. In FIG. 13, the description of the content length is indicated by an arrow. In this configuration, the reproduction of the moving image file is skipped, and the subsequent moving image file can be reproduced appropriately, for example, at a timing based on the time stamp of the TS stream. The HTTP response does not include the main body.
また、上述の例では、ファイルパケット化装置300はHTTP配信サーバ200からHTTPに準拠した動画配信用のファイルをHTTPで取得するようにしたけれども、これらのファイルはファイルパケット化装置300自体が生成・準備してもよく、また任意のソースから取得してよい。
In the above-described example, the
100 動画コンテンツ配信システム
200 HTTP配信サーバ
300 ファイルパケット化装置
400 ファイル再構築装置
500 コンテンツ配信ネットワーク
600 UDP非対応端末装置
700 UDP対応端末装置
800 携帯端末
100 video
Claims (2)
複数のTSパケットを含む動画ファイルを再生する再生手段と、
複数のTSパケットを含む動画ファイルを分解してIPマルチキャスト送信されてくるUDPパケットを受け取るUDPパケット受信手段と、
上記UDPパケット受信手段が受け取ったUDPパケットから上記動画ファイルに再構築してHTTPに準拠して上記再生手段に供給する動画ファイル再構築手段とを有し、
上記動画ファイル再構築手段は、上記動画ファイルに対応する複数のUDPパケットのうちの少なくとも1つのUDPパケットを受け取らない場合に、完全なTSパケットのみを含む態様で上記動画ファイルを再構築することを特徴とするユーザ端末。 In a user terminal that can be connected to a communication network,
Playback means for playing back a moving image file including a plurality of TS packets;
UDP packet receiving means for decomposing a video file including a plurality of TS packets and receiving a UDP packet transmitted by IP multicast;
A moving image file reconstructing means that reconstructs the UDP packet received from the UDP packet receiving means into the moving image file and supplies it to the reproducing means in accordance with HTTP;
The moving image file reconstructing means reconstructs the moving image file in a mode including only a complete TS packet when not receiving at least one UDP packet among a plurality of UDP packets corresponding to the moving image file. Characteristic user terminal.
複数のTSパケットを含む動画ファイルを再生する再生手段、
複数のTSパケットを含む動画ファイルを分解してマルチキャスト送信されてくるUDPパケットを受け取るUDPパケット受信手段、
上記UDPパケット受信手段が受け取ったUDPパケットから上記動画ファイルを再構築してHTTPに準拠して上記再生手段に供給する動画ファイル再構築手段、
として実現させるために使用され、
上記動画ファイル再構築手段は、上記動画ファイルに対応する複数のUDPパケットのうちの少なくとも1つのUDPパケットを受け取らない場合に、完全なTSパケットのみを含む態様で上記動画ファイルを再構築することを特徴とするコンピュータプログラム。 A user terminal that can be connected to a communication network
Reproduction means for reproducing a moving image file including a plurality of TS packets,
UDP packet receiving means for decomposing a video file including a plurality of TS packets and receiving a UDP packet transmitted by multicast,
A moving image file reconstructing unit configured to reconstruct the moving image file from the UDP packet received by the UDP packet receiving unit and supply the reconstructing unit in accordance with HTTP;
Used to realize as
The moving image file reconstructing means reconstructs the moving image file in a mode including only a complete TS packet when not receiving at least one UDP packet among a plurality of UDP packets corresponding to the moving image file. A featured computer program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018106278A JP6490284B2 (en) | 2018-06-01 | 2018-06-01 | Content distribution system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018106278A JP6490284B2 (en) | 2018-06-01 | 2018-06-01 | Content distribution system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016234469A Division JP6359074B2 (en) | 2016-12-01 | 2016-12-01 | Content distribution system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019033181A Division JP6804164B2 (en) | 2019-02-26 | 2019-02-26 | Content distribution system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018170770A JP2018170770A (en) | 2018-11-01 |
JP6490284B2 true JP6490284B2 (en) | 2019-03-27 |
Family
ID=64019267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018106278A Active JP6490284B2 (en) | 2018-06-01 | 2018-06-01 | Content distribution system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6490284B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022034814A1 (en) | 2020-08-11 | 2022-02-17 | コンテンツライツ合同会社 | Information processing device, information processing program, and recording medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109922057A (en) * | 2019-02-27 | 2019-06-21 | 智慧海派科技有限公司 | UDP message recombination method based on frame sequence |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2378844A1 (en) * | 1999-07-13 | 2001-01-18 | Sun Microsystems, Inc. | Methods and apparatus for selecting multicast ip data transmitted in broadcast streams |
JP2002185943A (en) * | 2000-12-12 | 2002-06-28 | Nec Corp | Broadcasting viewing method, broadcasting transmission server, portable terminal and multi-spot speaking and broadcasting control viewing equipment |
JP2004096274A (en) * | 2002-08-30 | 2004-03-25 | Nippon Telegr & Teleph Corp <Ntt> | Broadcast retransmitter and multiplex enciphering apparatus |
JP5137857B2 (en) * | 2009-01-09 | 2013-02-06 | 株式会社日立国際電気 | Mobile receiving terminal and relay device |
JP5210987B2 (en) * | 2009-07-13 | 2013-06-12 | 日本電信電話株式会社 | Program receiving apparatus, program receiving method, and program receiving program |
JP2011188302A (en) * | 2010-03-09 | 2011-09-22 | Nippon Telegr & Teleph Corp <Ntt> | Section editing apparatus, section editing method, and section editing program in retransmission of digital broadcasting |
JPWO2012011449A1 (en) * | 2010-07-20 | 2013-09-09 | シャープ株式会社 | Proxy server, relay method, communication system, relay control program, and recording medium |
US9900166B2 (en) * | 2013-04-12 | 2018-02-20 | Qualcomm Incorporated | Methods for delivery of flows of objects over broadcast/multicast enabled networks |
JP6258006B2 (en) * | 2013-11-08 | 2018-01-10 | ヒロテック株式会社 | SFN broadcasting system and broadcast TS transmission method using IP line |
JP2015136060A (en) * | 2014-01-17 | 2015-07-27 | ソニー株式会社 | Communication device, communication data generation method, and communication data processing method |
-
2018
- 2018-06-01 JP JP2018106278A patent/JP6490284B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022034814A1 (en) | 2020-08-11 | 2022-02-17 | コンテンツライツ合同会社 | Information processing device, information processing program, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2018170770A (en) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11653042B2 (en) | Apparatus and method for configuring a control message in a broadcast system | |
US10911511B2 (en) | Carriage of ISO-BMFF event boxes in an MPEG-2 transport stream | |
CN109889543B (en) | Video transmission method, root node, child node, P2P server and system | |
US10560866B2 (en) | Method of handling packet losses in transmissions based on DASH standard and FLUTE protocol | |
JP6490284B2 (en) | Content distribution system | |
CN104604245B (en) | Time control is presented | |
JP5344541B2 (en) | Data transmission apparatus, transmission method and program | |
KR20170000312A (en) | Method and apparatus for digital broadcast services | |
JP6359074B2 (en) | Content distribution system | |
US10277957B2 (en) | Method for delivering an audio-video live content in multicast form | |
CN114245153A (en) | Slicing method, device, equipment and readable storage medium | |
JP6804164B2 (en) | Content distribution system | |
JP5082715B2 (en) | Receiving device, receiving method, and computer program | |
KR102319932B1 (en) | Receiving apparatus and receiving method, reproducing apparatus and reproducing method, supplying apparatus and supplying method, and program | |
EP3316531A1 (en) | Method to transmit an audio/video stream of to a destination device | |
WO2016101626A1 (en) | Channel code stream processing method, device, terminal and system | |
JP6950386B2 (en) | Distribution device, playback device, distribution method, playback method, playback program and data structure | |
KR102421791B1 (en) | Method and apparatus for transmitting media time information in mmt network system | |
KR20160000722A (en) | Method and appratus for transmitting and receiving multimedia content using hybrid network in a communication system | |
JP2018014641A (en) | Mmt content creation device and creation program | |
JP2004282260A (en) | Media server, media receiving terminal apparatus, and media distribution system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6490284 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |