JP2020178216A - Terminal device, streaming distribution system, and program - Google Patents
Terminal device, streaming distribution system, and program Download PDFInfo
- Publication number
- JP2020178216A JP2020178216A JP2019078705A JP2019078705A JP2020178216A JP 2020178216 A JP2020178216 A JP 2020178216A JP 2019078705 A JP2019078705 A JP 2019078705A JP 2019078705 A JP2019078705 A JP 2019078705A JP 2020178216 A JP2020178216 A JP 2020178216A
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- layer data
- data
- reinforcement layer
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 claims abstract description 149
- 230000002787 reinforcement Effects 0.000 claims abstract description 143
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000012546 transfer Methods 0.000 claims description 75
- 230000003014 reinforcing effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 17
- 230000003190 augmentative effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000006866 deterioration Effects 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、端末装置、ストリーミング配信システム、及びプログラムに関する。 The present invention relates to terminal devices, streaming distribution systems, and programs.
インターネットを介した映像配信においては、ネットワークの混雑状況により、端末装置ごとに利用可能な通信帯域が時々刻々と変化する現状があり、ＨＴＴＰ Ｌｉｖｅ ＳｔｒｅａｍｉｎｇやＭＰＥＧ−ＤＡＳＨ等のアダプティブストリーミング方式が一般的に利用されている。 In video distribution via the Internet, the communication band that can be used for each terminal device changes from moment to moment depending on the network congestion, and adaptive streaming methods such as HTTP Live Streaming and MPEG-DASH are generally used. It's being used.
一方、映像配信の通信経路としては、インターネットだけではなく、端末間直接通信によりデータを送受信する方法も有りうる。例えば非特許文献１には、端末間直接通信により端末間でデータを直接的に転送する技術が記載されている。
On the other hand, as a communication path for video distribution, not only the Internet but also a method of transmitting and receiving data by direct communication between terminals may be possible. For example, Non-Patent
上述したようなストリーミング配信において端末間直接通信を活用することにより、インターネットの輻輳やキャッシュサーバの混雑に起因する利用可能帯域の低下の影響を抑制できると考えられる。 By utilizing direct communication between terminals in the above-mentioned streaming distribution, it is considered that the influence of the decrease in available bandwidth due to the congestion of the Internet and the congestion of the cache server can be suppressed.
しかしながら、端末間直接通信は端末間の無線通信を利用しており、無線干渉等の環境要因によって端末間直接通信が不可になりうる。このような場合、端末間直接通信によりデータを受信する端末装置において映像の再生が途切れるといった問題がある。 However, direct communication between terminals uses wireless communication between terminals, and direct communication between terminals may become impossible due to environmental factors such as wireless interference. In such a case, there is a problem that the reproduction of the video is interrupted in the terminal device that receives the data by the direct communication between the terminals.
そこで、本発明は、端末間直接通信を活用した映像のストリーミング配信において、端末間の無線通信環境が悪化した場合にも、映像の再生を継続できる端末装置、ストリーミング配信システム、及びプログラムを提供することを目的とする。 Therefore, the present invention provides a terminal device, a streaming distribution system, and a program capable of continuing video reproduction even when the wireless communication environment between terminals deteriorates in the streaming distribution of video utilizing direct communication between terminals. The purpose is.
第１の態様に係る端末装置は、ストリーミング配信システムにおいて用いる端末装置であって、階層符号化を用いたストリーミング配信を行う配信サーバとの通信により、前記配信サーバから基本階層データを取得する基本階層データ取得部と、前記配信サーバと通信する他の端末装置との端末間直接通信により、前記他の端末装置から転送される第１補強階層データを取得する第１補強階層データ取得部と、前記配信サーバから取得される前記基本階層データと前記他の端末装置から取得される前記第１補強階層データとを組み合わせて復号及び再生する再生処理部とを備えることを要旨とする。 The terminal device according to the first aspect is a terminal device used in a streaming distribution system, and is a basic layer that acquires basic layer data from the distribution server by communicating with a distribution server that performs streaming distribution using hierarchical coding. The first reinforcement layer data acquisition unit that acquires the first reinforcement layer data transferred from the other terminal device by direct communication between the data acquisition unit and another terminal device that communicates with the distribution server, and the above. The gist is to include a reproduction processing unit that decodes and reproduces the basic hierarchical data acquired from the distribution server and the first reinforcing hierarchical data acquired from the other terminal device in combination.
第２の態様に係るストリーミング配信システムは、第１の態様に係る前記端末装置及び前記他の端末装置と、インセンティブ管理サーバと、を備え、前記インセンティブ管理サーバは、前記他の端末装置から前記端末装置への前記第１補強階層データの転送状況に基づいて、前記他の端末装置に対して付与するインセンティブを決定するインセンティブ決定部を有することを要旨とする。 The streaming distribution system according to the second aspect includes the terminal device according to the first aspect, the other terminal device, and an incentive management server, and the incentive management server is the terminal from the other terminal device. It is a gist to have an incentive determination unit that determines an incentive to be given to the other terminal device based on the transfer status of the first reinforcement layer data to the device.
第３の態様に係るプログラムは、コンピュータを第１の態様に係る端末装置として機能させることを要旨とする。 The gist of the program according to the third aspect is to make the computer function as a terminal device according to the first aspect.
本発明によれば、端末間直接通信を活用した映像のストリーミング配信において、端末間の無線通信環境が悪化した場合にも、映像の再生を継続できる端末装置、ストリーミング配信システム、及びプログラムを提供できる。 According to the present invention, in the streaming distribution of video utilizing direct communication between terminals, it is possible to provide a terminal device, a streaming distribution system, and a program capable of continuing video reproduction even when the wireless communication environment between terminals deteriorates. ..
図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。 An embodiment will be described with reference to the drawings. In the description of the drawings, the same or similar parts are designated by the same or similar reference numerals.
＜第１実施形態＞
（ストリーミング配信システムの構成）
まず、本実施形態に係るストリーミング配信システムの構成について説明する。図１は、本実施形態に係るストリーミング配信システム１の構成を示す図である。
<First Embodiment>
(Streaming distribution system configuration)
First, the configuration of the streaming distribution system according to the present embodiment will be described. FIG. 1 is a diagram showing a configuration of a
図１に示すように、ストリーミング配信システム１は、階層符号化器１００と、配信サーバ２００と、ネットワーク３００と、一対の端末装置４００ａ及び４００ｂと、インセンティブ管理サーバ５００とを有する。以下において、端末装置４００ａ及び４００ｂを特に区別しないときは単に端末装置４００と呼ぶ。
As shown in FIG. 1, the
階層符号化器１００は、高品質映像である原映像データに対して階層符号化を施し、階層符号化した映像データを配信サーバ２００に格納する。図１に示す例において、階層符号化器１００は、基本階層データＢと補強階層データＥとを配信サーバ２００に出力する。本実施形態において、補強階層データＥは、第１補強階層データに相当する。
The
ここで、基本階層データＢは、原映像データのビットレートに対して低い符号化ビットレートで符号化した階層の映像データであって、独立して復号及び再生が可能なデータである。基本階層データＢは、低品質映像データに相当する。 Here, the basic layer data B is image data in a layer encoded at a coded bit rate lower than the bit rate of the original video data, and is data that can be independently decoded and reproduced. The basic layer data B corresponds to low quality video data.
補強階層データＥは、基本階層データＢで符号化していない階層の映像データであって、基本階層データＢと組み合わせて復号及び再生が可能なデータである。すなわち、補強階層データＥは、高品質映像データのうち基本階層データＢ以外のデータである。 The supplementary layer data E is video data of a layer that is not encoded by the basic layer data B, and is data that can be decoded and reproduced in combination with the basic layer data B. That is, the reinforcement layer data E is data other than the basic layer data B among the high quality video data.
端末装置４００は、基本階層データＢと併せて補強階層データＥを取得して復号することで、基本階層データＢのみで映像再生を行うよりも高い符号化ビットレートでの映像再生、すなわち、高品質映像の再生を行うことができるようになる。
By acquiring and decoding the reinforcement layer data E together with the basic layer data B, the
なお、階層符号化器１００における階層符号化としては、例えば、時間階層符号化、空間階層符号化、又はＳＮＲ階層符号化を利用できる。これらの階層符号化については、例えば、「角野眞也、映像情報メディア学会誌Ｖｏｌ．６１，Ｎｏ．４（２００７）、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｉｔｅ．ｏｒ．ｊｐ／ｃｏｎｔｅｎｔｓ／ｋｅｙｗｏｒｄｓ／ＦＩＬＥ−２０１１１２３１１５３６３７．ｐｄｆ＞」に記載されている。
As the hierarchical coding in the
配信サーバ２００は、階層符号化器１００から出力された基本階層データＢと補強階層データＥとを格納する。配信サーバ２００は、ネットワーク３００を介して端末装置４００との通信を行う。具体的には、配信サーバ２００は、端末装置４００からの要求に応じて、格納したデータをストリーミング配信により配信する。本実施形態において、配信サーバ２００は、基本階層データＢ及び補強階層データＥを端末装置４００ａに配信するとともに、基本階層データＢを端末装置４００ｂに配信する。
The
ネットワーク３００は、インターネットを含む。ネットワーク３００は、無線通信サービスを提供する事業者の無線通信ネットワークを含んでもよい。ネットワーク３００は、狭域通信ネットワーク（ＬＡＮ）を含んでもよい。
The
端末装置４００は、ネットワーク３００に接続して通信を行う機能、端末間直接通信を行う機能、及び映像データを再生する機能を有する。端末装置４００は、これらの機能を有する端末であればどのような端末であってもよいが、例えば、スマートフォン端末、タブレット端末、パーソナルコンピュータ（ＰＣ）、ポータブルテレビ、又はウェアラブル端末等である。
The
端末装置４００ａ及び４００ｂのそれぞれは、ネットワーク３００に有線又は無線で接続し、ネットワーク３００を介して配信サーバ２００との通信を行う。ここで、ネットワーク３００を介した通信について、端末装置４００ｂの利用可能帯域は、端末装置４００ａの利用可能帯域よりも少なくてもよい。端末装置４００ｂは、ネットワーク３００を介した通信における利用可能帯域が枯渇した状態になりうる。
Each of the
本実施形態において、端末装置４００ａは、基本階層データＢ及び補強階層データＥの配信を配信サーバ２００に要求し、基本階層データＢ及び補強階層データＥを配信サーバ２００から取得する。端末装置４００ｂは、基本階層データＢの配信を配信サーバ２００に要求し、補強階層データＥを配信サーバ２００から取得せずに基本階層データＢを配信サーバ２００から取得する。
In the present embodiment, the
端末装置４００ａ及び４００ｂは、端末間直接通信を行う。端末間直接通信には、例えば、Ｗｉ−Ｆｉダイレクト規格、ブルートゥース（登録商標）規格、セルラＤ２Ｄ（Ｄｅｖｉｃｅ−ｔｏ−Ｄｅｖｉｃｅ）通信規格のいずれかの端末間直接通信規格を用いることができる。以下において、端末間直接通信が確立されることを「ペアリング」と呼ぶことがある。端末装置４００ａは、配信サーバ２００から取得した補強階層データＥを端末間直接通信により端末装置４００ｂに転送する。
The
なお、端末装置４００ａから端末装置４００ｂに対して端末間直接通信によりデータ転送を実施する場合について説明するが、端末装置４００ａと端末装置４００ｂの役割は逆でもよい。また、図１では、２台の端末装置間でデータ転送を行う場合の構成を示しているが、データ転送を実施する端末は何台でも構わない。
A case where data transfer is performed from the
端末装置４００ａは、配信サーバ２００から取得した基本階層データＢ及び補強階層データＥを組み合わせて復号及び再生する。一方、端末装置４００ｂは、配信サーバ２００からネットワーク３００を介して取得した基本階層データＢと端末装置４００ａから端末間直接通信により取得した補強階層データＥとを組み合わせて復号及び再生する。
The
ここで、端末装置４００において、基本階層データＢ及び補強階層データＥを組み合わせて復号及び再生する場合の符号化ビットレートについて説明する。
Here, the coding bit rate when the basic layer data B and the augmented layer data E are combined and decoded and reproduced in the
階層符号化器１００から出力される階層符号化データである映像ストリームにおいて、基本階層データＢの符号化ビットレートが３Ｍｂｐｓであり、補強階層データＥの符号化ビットレートが１Ｍｂｐｓであるとする。
In the video stream which is the hierarchically encoded data output from the
端末装置４００ａは、基本階層データＢ及び補強階層データＥを配信サーバ２００からネットワーク３００経由で取得し、それらを合成した４Ｍｂｐｓ（＝３Ｍｂｐｓ＋１Ｍｂｐｓ）の映像を再生する。
The
端末装置４００ｂは、基本階層データＢの映像ストリームを配信サーバ２００からネットワーク３００経由で取得し、補強階層データＥを端末装置４００ａから端末間直接通信により取得し、それらを合成した４Ｍｂｐｓ（＝３Ｍｂｐｓ＋１Ｍｂｐｓ）の映像を再生する。
The
このように、基本階層データＢ及び補強階層データＥを組み合わせて復号及び再生することにより、高品質な映像再生が可能である。 In this way, high-quality video reproduction is possible by decoding and reproducing the basic layer data B and the reinforcement layer data E in combination.
但し、端末装置４００ｂは、無線干渉等の環境要因によって端末間直接通信が不可になった場合、端末装置４００ｂから補強階層データＥを取得できず、配信サーバ２００から取得した基本階層データＢを復号及び再生する。
However, when the
これにより、端末装置４００ｂにおいて、端末間直接通信が不可になった場合、画質の劣化は許容するものの、映像再生が途切れることを回避できる。
As a result, in the
インセンティブ管理サーバ５００は、データ転送を実施した端末装置４００ａに対して付与するインセンティブを決定し、端末装置４００ａに対してインセンティブを付与する処理を行う。
The
例えば、インセンティブ管理サーバ５００は、転送した補強階層データの符号化ビットレートや、補強階層データを転送した時間に応じて、インセンティブの量を決める。インセンティブの一例としては、映像サービス利用料金のディスカウントが挙げられる。
For example, the
端末装置４００ａは、端末装置４００ａに比べて多くのデータを配信サーバ２００から取得する必要があり、端末装置４００ａに比べて通信コストの負担が大きい。このため、この通信コスト負担を補うに価するインセンティブを端末装置４００ａに提供することで、端末装置４００間の不公平感を解消する。
The
（端末装置の構成）
次に、本実施形態に係る端末装置４００の構成について説明する。図２は、本実施形態に係る端末装置４００の構成を示す図である。
(Configuration of terminal device)
Next, the configuration of the
図２に示すように、端末装置４００は、ネットワーク通信インターフェース部４１０と、端末間直接通信インターフェース部４２０と、ユーザインターフェース部４３０と、記憶部４４０と、処理部４５０とを有する。
As shown in FIG. 2, the
ネットワーク通信インターフェース部４１０は、ネットワーク３００に有線又は無線で接続する。ネットワーク通信インターフェース部４１０は、イーサネット（登録商標）等の有線通信を行う有線通信モジュールを含んでもよいし、無線ＬＡＮ通信又はセルラ通信等の無線通信を行う無線通信モジュールを含んでもよい。
The network
端末間直接通信インターフェース部４２０は、他の端末装置に無線で接続する。端末間直接通信インターフェース部４２０は、端末間直接通信を行うことが可能な無線通信モジュール、例えば、Ｗｉ−Ｆｉダイレクト規格、ブルートゥース（登録商標）規格、セルラＤ２Ｄ通信規格等に準拠する無線通信モジュールを含んでもよい。
The terminal-to-terminal direct
ユーザインターフェース部４３０は、端末装置４００のユーザとのインターフェースを構成する。ユーザインターフェース部４３０は、映像を表示する表示部、音声を出力する音声出力部、ユーザ操作を受け付ける操作部等を含む。
The
記憶部４４０は、処理部４５０により実行されるプログラムと、処理部４５０による処理に用いられる情報を記憶する。記憶部４４０は、揮発性メモリ及び不揮発性メモリを含んでもよい。
The
処理部４５０は、記憶部４４０に記憶されたプログラムを実行することにより、端末装置４００における各種の処理及び制御を行う。本実施形態において、処理部４５０は、ネットワーク通信制御部４５１と、端末間直接通信制御部４５２と、ストリーム取得部４５３と、補強階層データ転送部４５４と、再生処理部４５５とを有する。
The
ネットワーク通信制御部４５１は、ネットワーク通信インターフェース部４１０を制御する。また、ネットワーク通信制御部４５１は、ネットワーク通信インターフェース部４１０を介して配信サーバ２００及びインセンティブ管理サーバ５００との通信を行う。
The network
端末間直接通信制御部４５２は、端末間直接通信インターフェース部４２０を制御する。また、端末間直接通信制御部４５２は、端末間直接通信インターフェース部４２０を介して他の端末装置との通信を行う。
The terminal-to-terminal direct
ストリーム取得部４５３は、基本階層データＢ及び補強階層データＥを取得する。本実施形態において、ストリーム取得部４５３は、基本階層データ取得部４５３ａと、補強階層データ取得部４５３ｂとを有する。本実施形態において、補強階層データ取得部４５３ｂは、第１補強階層データ取得部に相当する。
The
基本階層データ取得部４５３ａは、ネットワーク通信インターフェース部４１０を介して、配信サーバ２００から基本階層データＢを取得する。
The basic layer
補強階層データ取得部４５３ｂは、端末装置４００が図１に示す端末装置４００ａである場合、ネットワーク通信インターフェース部４１０を介して、配信サーバ２００から補強階層データＥを取得する。
When the
一方、端末装置４００が図１に示す端末装置４００ｂである場合、補強階層データ取得部４５３ｂは、端末間直接通信インターフェース部４２０を介して、端末装置４００ａから補強階層データＥを取得する。
On the other hand, when the
本実施形態において、補強階層データ転送部４５４は、図１に示す端末装置４００ａに設けられる。補強階層データ転送部４５４は、補強階層データ取得部４５３ｂが取得した補強階層データＥを、端末間直接通信インターフェース部４２０を介して端末装置４００ｂに転送する。
In the present embodiment, the reinforcement layer
再生処理部４５５は、基本階層データ取得部４５３ａが取得した基本階層データＢと補強階層データ取得部４５３ｂが取得した補強階層データＥとを組み合わせて復号及び再生する。再生処理部４５５は、階層復号部４５５ａと、再生部４５５ｂとを有する。
The
階層復号部４５５ａは、基本階層データＢ及び補強階層データＥを復号するとともに、基本階層データＢ及び補強階層データＥを合成して１つの映像ストリームを再生部４５５ｂに出力する。
The
再生部４５５ｂは、階層復号部４５５ａから出力された映像ストリームを再生する。ユーザインターフェース部４３０に表示部が含まれる場合、再生部４５５ｂは、この表示部に映像を表示させてもよい。再生部４５５ｂは、端末装置４００の外部の表示部に映像を表示させてもよい。
The
端末装置４００が図１に示す端末装置４００ｂである場合、補強階層データ取得部４５３ｂは、端末間直接通信インターフェース部４２０を介して端末装置４００ａから補強階層データＥを取得できない場合がある。
When the
再生処理部４５５は、端末間直接通信が不可になった場合、配信サーバ２００から取得される基本階層データＢを復号及び再生する。具体的には、階層復号部４５５ａは、基本階層データＢのみを復号して映像ストリームを再生部４５５ｂに出力し、再生部４５５ｂは、階層復号部４５５ａから出力された映像ストリームを再生する。
When the direct communication between terminals becomes impossible, the
（インセンティブ管理サーバの構成）
次に、本実施形態に係るインセンティブ管理サーバ５００の構成について説明する。図３は、本実施形態に係るインセンティブ管理サーバ５００の構成を示す図である。
(Configuration of incentive management server)
Next, the configuration of the
図３に示すように、インセンティブ管理サーバ５００は、ネットワーク通信インターフェース部５１０と、記憶部５２０と、処理部５３０とを有する。
As shown in FIG. 3, the
ネットワーク通信インターフェース部５１０は、ネットワーク３００に有線又は無線で接続する。ネットワーク通信インターフェース部５１０は、イーサネット（登録商標）等の有線通信を行う有線通信モジュールを含んでもよいし、無線ＬＡＮ通信等の無線通信を行う無線通信モジュールを含んでもよい。
The network
記憶部５２０は、処理部５３０により実行されるプログラムと、処理部５３０による処理に用いられる情報を記憶する。記憶部５２０は、揮発性メモリ及び不揮発性メモリを含んでもよい。
The
処理部５３０は、記憶部５２０に記憶されたプログラムを実行することにより、インセンティブ管理サーバ５００における各種の処理及び制御を行う。処理部５３０は、ペアリング管理部５３１と、データ転送管理部５３２と、インセンティブ決定部５３３とを有する。
The
ペアリング管理部５３１は、ネットワーク通信インターフェース部５１０を介して各端末装置４００との通信を行うことにより、端末装置４００間のペアリング状況を管理する。
The
データ転送管理部５３２は、ネットワーク通信インターフェース部５１０を介して各端末装置４００との通信を行うことにより、端末装置４００間の補強階層データＥの転送状況を管理する。
The data
また、データ転送管理部５３２は、端末装置４００ａから端末装置４００ｂへの補強階層データＥの転送状況を端末装置４００ａから取得する。或いは、データ転送管理部５３２は、端末装置４００ａから端末装置４００ｂへの補強階層データＥの転送状況を端末装置４００ｂから取得してもよい。補強階層データＥの転送状況とは、他の端末装置への補強階層データＥの転送時間や転送データ量等の指標をいうが、他の端末装置への貢献度合を示す指標であればどのような指標であってもよい。
Further, the data
インセンティブ決定部５３３は、端末装置４００ａから端末装置４００ｂへの補強階層データＥの転送状況に基づいて、端末装置４００ａに対して付与するインセンティブを決定する。インセンティブの決定方法の一例を図４（ａ）に示す。インセンティブ決定部５３３は、データ転送を実施したデータ量に比例したインセンティブを付与する。具体的には、インセンティブ決定部５３３は、より多くのデータ量のデータ転送を実施した端末装置４００ａに対してより多くのインセンティブを付与する。
The
例えば、インセンティブ決定部５３３は、端末装置４００ａが１０ＧＢ分のデータ転送を実施した場合、映像サービス利用料金の映像１本分の無料視聴サービスを提供する等が挙げられる。インセンティブ決定部５３３は、映像サービス利用料をポイント制として管理し、ポイントとしてインセンティブを付与してもよい。
For example, when the
インセンティブ決定部５３３は、端末装置４００ｂが再生する映像データの符号化ビットレートから体感品質を判定し、当該判定した体感品質に基づいてインセンティブを決定してもよい。インセンティブ決定部５３３は、端末装置４００ｂが再生する映像データの内容（種別）も考慮して体感品質を判定してもよい。
The
図４（ｂ）に示すように、映像の符号化ビットレートと体感品質とは非線形関係にあり、符号化ビットレートを増加させても必ずしも体感品質が大きく向上するとは限らず、且つ体感品質は視聴する映像素材ごとによっても異なる。体感品質が向上しないにも拘わらずデータ転送を実施して符号化ビットレートを増加させることは不要であるため、インセンティブ決定部５３３は、インセンティブ量を体感品質の向上度を考慮して決定することが好ましい。
As shown in FIG. 4 (b), the coded bit rate of the image and the perceived quality have a non-linear relationship, and increasing the coded bit rate does not necessarily greatly improve the perceived quality, and the perceived quality does not necessarily improve significantly. It also depends on the video material you are watching. Since it is not necessary to carry out data transfer to increase the coded bit rate even though the perceived quality is not improved, the
（ストリーミング配信システムの動作例）
次に、本実施形態に係るストリーミング配信システム１の動作例について説明する。
(Example of operation of streaming distribution system)
Next, an operation example of the
（１）動作例１
図５は、本実施形態に係るストリーミング配信システム１の動作例１を示す図である。
(1) Operation example 1
FIG. 5 is a diagram showing an operation example 1 of the
図５に示すように、ステップＳ１０１において、端末装置４００ｂのネットワーク通信制御部４５１は、端末装置４００ａによるデータ転送の提供可否の状況をインセンティブ管理サーバ５００から取得する。
As shown in FIG. 5, in step S101, the network
ステップＳ１０２において、端末装置４００ｂのネットワーク通信制御部４５１は、端末間直接通信により端末装置４００ａから補強階層データＥの映像ストリームを取得することをインセンティブ管理サーバ５００に要求する。
In step S102, the network
ステップＳ１０３において、インセンティブ管理サーバ５００のデータ転送管理部５３２は、端末装置４００ａからの要求に応じて、端末装置４００ｂによるデータ転送の要求状況を端末装置４００ａに通知する。端末装置４００ａのネットワーク通信制御部４５１は、端末装置４００ｂによるデータ転送の要求状況をインセンティブ管理サーバ５００から取得する。
In step S103, the data
ステップＳ１０４において、端末装置４００ａのネットワーク通信制御部４５１は、端末装置４００ｂにより要求されている補強階層データＥの映像ストリームを提供する申出をインセンティブ管理サーバ５００に対して行う。
In step S104, the network
ステップＳ１０５において、端末装置４００ａ及び４００ｂのそれぞれの端末間直接通信制御部４５２は、相互にペアリングを行い、端末間直接通信を可能にする。
In step S105, the terminal-to-terminal direct
なお、端末間直接通信制御部４５２は、端末装置４００ａにおいて転送中止の申出があった場合、又は端末装置４００ｂにおいて転送データの取得中止の申出があった場合、端末間直接通信を切断し、ペアリングを解除する。また、端末間直接通信制御部４５２は、電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された場合もペアリングを解除する。
When the
ステップＳ１０６において、端末装置４００ａのネットワーク通信制御部４５１は、端末装置４００ｂとのペアリングが開始された旨をインセンティブ管理サーバ５００に通知する。同様に、ステップＳ１０７において、端末装置４００ｂのネットワーク通信制御部４５１は、端末装置４００ａとのペアリングが開始された旨をインセンティブ管理サーバ５００に通知する。インセンティブ管理サーバ５００のペアリング管理部５３１は、端末装置４００ａ及び４００ｂがペアリングされことを記憶する。
In step S106, the network
ステップＳ１０８において、インセンティブ管理サーバ５００のデータ転送管理部５３２は、端末装置４００ｂに補強階層データＥの映像ストリームを転送するように端末装置４００ａに指示する。
In step S108, the data
ステップＳ１０９において、インセンティブ管理サーバ５００のデータ転送管理部５３２は、端末装置４００ａから補強階層データＥの映像ストリームを取得するように端末装置４００ｂに指示する。
In step S109, the data
ステップＳ１１０において、端末装置４００ａのストリーム取得部４５３は、基本階層データＢ及び補強階層データＥのそれぞれの映像ストリームを配信サーバ２００から取得する。
In step S110, the
ステップＳ１１１において、端末装置４００ｂのストリーム取得部４５３は、基本階層データＢの映像ストリームを配信サーバ２００から取得する。
In step S111, the
ステップＳ１１２において、端末装置４００ａの補強階層データ転送部４５４は、配信サーバ２００から取得した補強階層データＥの映像ストリームを端末間直接通信により端末装置４００ｂに転送する。
In step S112, the reinforcement layer
ステップＳ１１３において、端末装置４００ａの再生処理部４５５は、配信サーバ２００から取得した基本階層データＢ及び補強階層データＥを組み合わせて復号及び再生する。
In step S113, the
ステップＳ１１４において、端末装置４００ｂの再生処理部４５５は、配信サーバ２００から取得した基本階層データＢと端末装置４００ａから取得した補強階層データＥとを組み合わせて復号及び再生する。
In step S114, the
ステップＳ１１０乃至Ｓ１１４の動作は、１）端末装置４００ａにおいて転送中止の申出があった、２）端末装置４００ｂにおいて転送データの取得中止の申出があった、３）電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された、のいずれかの事象が発生するまで繰り返される。
The operations of steps S110 to S114 are as follows: 1) There was a request to stop the transfer in the
ステップＳ１１５において、端末装置４００ａの補強階層データ転送部４５４は、端末装置４００ｂに対する補強階層データＥの映像ストリームの転送状況をインセンティブ管理サーバ５００に通知する。
In step S115, the reinforcement layer
ステップＳ１１６において、インセンティブ管理サーバ５００のインセンティブ決定部５３３は、端末装置４００ａから端末装置４００ｂへの補強階層データＥの映像ストリームの転送状況に基づいて、端末装置４００ａに対して付与するインセンティブを決定する。
In step S116, the
（２）動作例２
図６は、本実施形態に係るストリーミング配信システム１の動作例２を示す図である。本動作例では、動作例１で説明したような補強階層データＥの映像ストリームの転送が開始された後、ペアリングが解除される場合について説明する。
(2) Operation example 2
FIG. 6 is a diagram showing an operation example 2 of the
図６に示すように、ステップＳ１３１乃至ステップＳ１３５の動作は、上述した動作例１と同様である。 As shown in FIG. 6, the operations of steps S131 to S135 are the same as those of the above-described operation example 1.
ここで、１）端末装置４００ａにおいて転送中止の申出があった、２）端末装置４００ｂにおいて転送データの取得中止の申出があった、３）電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された、のいずれかの事象が発生したものとする。
Here, 1) there was a request to stop the transfer at the
ステップＳ１３６において、端末装置４００ａ及び４００ｂのそれぞれの端末間直接通信制御部４５２は、ペアリングを解除し、端末間直接通信が不可になる。
In step S136, the terminal-to-terminal direct
ステップＳ１３７において、端末装置４００ａのネットワーク通信制御部４５１は、端末装置４００ｂとのペアリングが終了した旨をインセンティブ管理サーバ５００に通知する。同様に、ステップＳ１３８において、端末装置４００ｂのネットワーク通信制御部４５１は、端末装置４００ａとのペアリングが終了した旨をインセンティブ管理サーバ５００に通知する。インセンティブ管理サーバ５００のペアリング管理部５３１は、端末装置４００ａ及び４００ｂのペアリングが終了したことを記憶する。
In step S137, the network
ステップＳ１３９において、端末装置４００ａの補強階層データ転送部４５４は、端末装置４００ｂに対する補強階層データＥの映像ストリームの転送状況をインセンティブ管理サーバ５００に通知する。
In step S139, the reinforcement layer
ステップＳ１４０において、インセンティブ管理サーバ５００のインセンティブ決定部５３３は、端末装置４００ａから端末装置４００ｂへの補強階層データＥの映像ストリームの転送状況に基づいて、端末装置４００ａに対して付与するインセンティブを決定する。
In step S140, the
ステップＳ１４１において、端末装置４００ａのストリーム取得部４５３は、基本階層データＢ及び補強階層データＥのそれぞれの映像ストリームを配信サーバ２００から取得する。
In step S141, the
ステップＳ１４２において、端末装置４００ｂのストリーム取得部４５３は、基本階層データＢの映像ストリームを配信サーバ２００から取得する。
In step S142, the
ステップＳ１４３において、端末装置４００ａの再生処理部４５５は、配信サーバ２００から取得した基本階層データＢ及び補強階層データＥを組み合わせて復号及び再生する。
In step S143, the
ステップＳ１４４において、端末装置４００ｂの再生処理部４５５は、配信サーバ２００から取得した基本階層データＢを復号及び再生する。
In step S144, the
（端末装置の動作）
次に、本実施形態に係る端末装置４００ａ及び４００ｂの動作例について説明する。
(Operation of terminal device)
Next, an operation example of the
（１）端末装置４００ａの動作例
図７は、本実施形態に係る端末装置４００ａの動作例を示す図である。
(1) Operation Example of
図７に示すように、ステップＳ２０１において、ネットワーク通信制御部４５１は、端末装置４００ａ付近に、端末間直接通信によるデータ転送を要求している端末装置４００ｂが存在するかをインセンティブ管理サーバ５００に確認し、データ転送要求状況をインセンティブ管理サーバ５００から取得する。
As shown in FIG. 7, in step S201, the network
ステップＳ２０２において、ネットワーク通信制御部４５１は、ユーザがデータ転送要求状況を見て、ストリーム提供を発意したとき、端末間直接通信により端末装置４００ｂに映像ストリームを提供することをインセンティブ管理サーバ５００に申し出る。
In step S202, when the user sees the data transfer request status and decides to provide the stream, the network
ステップＳ２０３において、端末間直接通信制御部４５２は、端末装置４００ｂとのペアリングを行い、端末間直接通信を可能にする。そして、ネットワーク通信制御部４５１は、ペアリング状況をインセンティブ管理サーバ５００に通知する。
In step S203, the terminal-to-terminal direct
ステップＳ２０４において、ストリーム取得部４５３は、基本階層データＢ及び補強階層データＥを配信サーバ２００からネットワーク３００経由で取得する。
In step S204, the
ステップＳ２０５において、補強階層データ転送部４５４は、補強階層データＥを端末装置４００ｂに提供し、同時に提供した時間やデータ量等のデータ転送状況を計測する。なお、データ転送状況は端末装置４００ｂへの貢献度合が測られる指標であれば異なる指標でもよい。
In step S205, the reinforcement layer
ここで、端末間直接通信制御部４５２は、ペアリングが継続しているか否かを監視する。ペアリングが継続していれば、補強階層データ転送部４５４は、データ転送を継続する。一方、端末装置４００ｂのユーザによるペアリングの離脱申出があった場合や、電波状況の劣化等に伴い端末間直接通信が切断された場合、端末間直接通信制御部４５２は、ペアリングを解除する。
Here, the terminal-to-terminal direct
ステップＳ２０６において、ネットワーク通信制御部４５１は、データ転送状況をインセンティブ管理サーバ５００に通知する。
In step S206, the network
一方、ステップＳ２０７において、再生処理部４５５は、配信サーバ２００からネットワーク３００経由で取得した基本階層データＢ及び補強階層データＥを復号する。
On the other hand, in step S207, the
ステップＳ２０８において、再生処理部４５５は、復号した基本階層データＢ及び補強階層データＥの映像ストリームを合成し、１つの映像ストリームに変換する。
In step S208, the
ステップＳ２０９において、再生処理部４５５は、映像ストリームを再生する。
In step S209, the
（２）端末装置４００ｂの動作例
図８は、本実施形態に係る端末装置４００ｂの動作例を示す図である。
(2) Operation Example of
図８に示すように、ステップＳ３０１において、ネットワーク通信制御部４５１は、端末装置４００ｂ付近に、端末間直接通信による映像ストリームを提供している端末装置４００ａが存在するかインセンティブ管理サーバ５００に確認し、データ転送提供状況を取得する。
As shown in FIG. 8, in step S301, the network
ステップＳ３０２において、ネットワーク通信制御部４５１は、端末装置４００ｂのユーザがデータ転送提供状況を見て、データ取得を発意したとき、端末間直接通信により端末装置４００ａから映像ストリームを取得することをインセンティブ管理サーバ５００に申し出る。
In step S302, the network
ステップＳ３０３において、端末間直接通信制御部４５２は、端末装置４００ａとペアリングし、端末間直接通信を可能にする。また、ネットワーク通信制御部４５１は、ペアリング状況をインセンティブ管理サーバ５００に通知する。
In step S303, the terminal-to-terminal direct
ステップＳ３０４において、ストリーム取得部４５３は、基本階層データＢの映像ストリームを配信サーバ２００からネットワーク３００経由で取得する。
In step S304, the
ステップＳ３０５において、ストリーム取得部４５３は、補強階層データＥの映像ストリームを、端末装置４００ａから端末間直接通信により取得する。
In step S305, the
ここで、端末間直接通信制御部４５２は、ペアリングが継続しているか否かを監視し、ペアリングが継続していれば、転送データの取得を継続する。一方、端末間直接通信制御部４５２は、端末装置４００ｂのユーザによるペアリングの離脱申出があった場合や、電波状況の劣化等に伴い端末間直接通信が切断された場合は、ペアリングを解除する。
Here, the terminal-to-terminal direct
ステップＳ３０６において、ネットワーク通信制御部４５１は、端末装置４００ａとのペアリングを解除したことをインセンティブ管理サーバ５００に通知する。
In step S306, the network
一方、ステップＳ３０７において、再生処理部４５５は、配信サーバ２００からネットワーク３００経由で取得した基本階層データＢと、端末装置４００ａから端末間直接通信により取得した補強階層データＥとを復号する。
On the other hand, in step S307, the
ステップＳ３０８において、再生処理部４５５は、復号した基本階層データＢ及び補強階層データＥの映像ストリームを合成し、１つの映像ストリームに変換する。
In step S308, the
ステップＳ３０９において、再生処理部４５５は、映像ストリームを再生する。
In step S309, the
（第１実施形態のまとめ）
第１実施形態によれば、基本階層データＢを低品質映像、補強階層データＥを高品質映像のうち基本階層データ以外のデータとする階層符号化を用いている。そして、端末間直接通信の活用により、端末装置４００ａが配信サーバ２００から取得した補強階層データＥを端末装置４００ｂに転送することにより、ネットワーク３００の輻輳やキャッシュサーバの混雑に起因する利用可能帯域の低下の影響を抑制できる。また、基本階層データＢを端末装置４００ｂに配信することにより、端末間直接通信が不可になった場合においても、画質劣化は許容するものの端末装置４００ｂでの映像の途切れを回避できる。
(Summary of the first embodiment)
According to the first embodiment, hierarchical coding is used in which the basic hierarchical data B is a low-quality video and the reinforcing hierarchical data E is high-quality video other than the basic hierarchical data. Then, by utilizing the direct communication between terminals, the
さらに、端末間直接通信を行う端末装置４００ａには通信コスト負担を補うに価するインセンティブを提供することで、不公平感を解消した。これにより、端末間直接通信を利用した映像配信サービスの使い勝手に関するユーザ満足度を向上させることができる。
Further, the feeling of unfairness was eliminated by providing an incentive worthy of compensating for the burden of communication costs for the
＜第２実施形態＞
次に、第２実施形態について、第１実施形態との相違点を主として説明する。
<Second Embodiment>
Next, the differences between the second embodiment and the first embodiment will be mainly described.
（ストリーミング配信システムの構成）
図９は、本実施形態に係るストリーミング配信システム１の構成を示す図である。
(Streaming distribution system configuration)
FIG. 9 is a diagram showing a configuration of a
図９に示すように、階層符号化器１００は、基本階層データＢと補強階層データＥ１と補強階層データＥ２とを配信サーバ２００に出力する。本実施形態において、補強階層データＥ１は第１補強階層データに相当し、補強階層データＥ２は第２補強階層データに相当する。
As shown in FIG. 9, the
このように、本実施形態においては、互いに異なる２つの補強階層データＥ１及びＥ２を用いる。２つの補強階層データＥ１及びＥ２のそれぞれのデータ量は、例えば第１実施形態に係る補強階層データＥの半分程度であってもよい。 As described above, in this embodiment, two reinforcement hierarchy data E1 and E2 that are different from each other are used. The amount of each of the two reinforcement hierarchy data E1 and E2 may be, for example, about half of the reinforcement hierarchy data E according to the first embodiment.
配信サーバ２００は、基本階層データＢ及び補強階層データＥ１を端末装置４００ａに配信するとともに、基本階層データＢ及び補強階層データＥ２を端末装置４００ｂに配信する。なお、本実施形態において、端末装置４００ｂの利用可能帯域は、端末装置４００ａの利用可能帯域と同等であってもよい。
The
端末装置４００ａは、配信サーバ２００から取得した補強階層データＥ１を端末間直接通信により端末装置４００ｂに転送する。端末装置４００ｂは、配信サーバ２００から取得した補強階層データＥ２を端末間直接通信により端末装置４００ａに転送する。このように、本実施形態においては、端末装置４００ａ及び４００ｂは補強階層データの転送を双方向に行う。
The
端末装置４００ａは、配信サーバ２００から取得した基本階層データＢ及び補強階層データＥ１と、端末装置４００ｂから端末間直接通信により取得した補強階層データＥ２とを組み合わせて復号及び再生する。一方、端末装置４００ｂは、配信サーバ２００から取得した基本階層データＢ及び補強階層データＥ２と、端末装置４００ａから端末間直接通信により取得した補強階層データＥ１とを組み合わせて復号及び再生する。
The
（階層符号化の例）
次に、本実施形態に係る階層符号化の例について説明する。本実施形態において、階層符号化器１００は、第１実施形態に係る補強階層データＥを補強階層データＥ１及びＥ２に分離する（すなわち、Ｅ＝Ｅ１＋Ｅ２）。
(Example of hierarchical coding)
Next, an example of hierarchical coding according to this embodiment will be described. In the present embodiment, the
（１）時間階層符号化
図１０は、時間階層符号化を用いた階層符号化の例を示す図である。
(1) Time Hierarchical Coding FIG. 10 is a diagram showing an example of hierarchical coding using time hierarchical coding.
図１０に示すように、基本階層データＢは、映像フレーム内の画素値のみを符号化するＩフレームと、前方の映像フレームとの差分を符号化するＰフレームとから構成される。基本階層データＢ内の、Ｉフレーム数とＰフレーム数の割合は適宜変更して構わない。サンプル時刻ｋのデータを
Ｂ（ｋ）； ｋ＝５Ｎ， Ｎ：０又は自然数
と表記する。
As shown in FIG. 10, the basic hierarchical data B is composed of an I frame that encodes only the pixel values in the video frame and a P frame that encodes the difference from the preceding video frame. The ratio of the number of I frames to the number of P frames in the basic hierarchical data B may be changed as appropriate. The data at the sample time k is expressed as B (k); k = 5N, N: 0 or a natural number.
補強階層データＥは、前方と後方の両映像フレームとの差分を符号化するＢフレームから構成される。奇数サンプル時刻ｋのデータを
Ｅ１（ｋ）； ｋ＝５Ｎ＋２Ｍ＋１， Ｎ：０又は自然数，Ｍ：０又は１
と表記し、偶数サンプル時刻ｋのデータを
Ｅ２（ｋ）； ｋ＝５Ｎ＋２Ｍ＋２， Ｎ：０又は自然数，Ｍ：０又は１
と表記する。
The reinforcement layer data E is composed of a B frame that encodes the difference between both the front and rear video frames. Data of odd sample time k is E1 (k); k = 5N + 2M + 1, N: 0 or natural number, M: 0 or 1
The data of even sample time k is E2 (k); k = 5N + 2M + 2, N: 0 or natural number, M: 0 or 1
Notated as.
基本階層データＢ（ｋ）のみを復号することで映像再生は可能であるが、補強階層データＥ１（ｋ）やＥ２（ｋ）を組み合わせて復号し、基本階層データＢ（ｋ）と合成することで、より高いフレームレートの映像再生が可能となる。 Video reproduction is possible by decoding only the basic layer data B (k), but decoding by combining the reinforcing layer data E1 (k) and E2 (k) and synthesizing with the basic layer data B (k). This enables video playback at a higher frame rate.
なお、基本階層データＢ（ｋ）と補強階層データＥ１（ｋ）、Ｅ２（ｋ）とを分離するサンプル時刻は前記の例に限らず、
Ｂ（ｋ）； ｋ＝７Ｎ， Ｎ：０又は自然数
Ｅ１（ｋ）； ｋ＝７Ｎ＋２Ｍ＋１， Ｎ：０又は自然数，Ｍ：０、１又は２
Ｅ２（ｋ）； ｋ＝７Ｎ＋２Ｍ＋２， Ｎ：０又は自然数，Ｍ：０、１又は２
等であっても構わない。
The sample time for separating the basic hierarchical data B (k) and the reinforcing hierarchical data E1 (k) and E2 (k) is not limited to the above example.
B (k); k = 7N, N: 0 or natural number E1 (k); k = 7N + 2M + 1, N: 0 or natural number, M: 0, 1 or 2
E2 (k); k = 7N + 2M + 2, N: 0 or natural number, M: 0, 1 or 2
Etc. may be used.
また、基本階層データＢ（ｋ）がＩフレームから構成され、補強階層データＥ１（ｋ）、Ｅ２（ｋ）がＰフレームとＢフレームから構成されるとしてもよい。 Further, the basic hierarchical data B (k) may be composed of an I frame, and the reinforcing hierarchical data E1 (k) and E2 (k) may be composed of a P frame and a B frame.
（２）空間階層符号化
図１１は、空間階層符号化を用いた階層符号化の例を示す図である。基本階層データＢは、映像データのうち水平周波数と垂直周波数共に低周波成分から構成される。補強階層データＥの分離方法として図１１（ａ）及び図１１（ｂ）の２例を示す。
(2) Spatial Hierarchical Coding FIG. 11 is a diagram showing an example of hierarchical coding using spatial hierarchical coding. The basic layer data B is composed of low frequency components in both the horizontal frequency and the vertical frequency of the video data. Two examples of FIG. 11A and FIG. 11B are shown as a method of separating the reinforcement hierarchy data E.
図１１（ａ）に示す第１の例において、補強階層データＥ１は、基本階層データ以外の映像データのうち中周波成分の領域から構成される。補強階層データＥ２は、基本階層データ及び補強階層データＥ１以外の映像データの高周波成分の領域から構成される。 In the first example shown in FIG. 11A, the reinforcement layer data E1 is composed of a region of a medium frequency component in the video data other than the basic layer data. The reinforcement layer data E2 is composed of a region of high frequency components of video data other than the basic layer data and the reinforcement layer data E1.
図１１（ｂ）に示す第２の例において、補強階層データＥ１は、基本階層データ以外の映像データのうち垂直周波数の高周波成分の領域から構成される。補強階層データＥ２は、基本階層データ以外の映像データのうち水平周波数の高周波成分の領域から構成される。 In the second example shown in FIG. 11B, the reinforcement layer data E1 is composed of a region of a high frequency component having a vertical frequency in the video data other than the basic layer data. The reinforcing layer data E2 is composed of a region of a high frequency component of a horizontal frequency among video data other than the basic layer data.
基本階層データＢのみを復号することで映像再生は可能であるが、補強階層データＥ１やＥ２を併せて復号し基本階層データＢと合成することで、より高い周波数成分のデータを持つ映像再生が可能となる。 Video reproduction is possible by decoding only the basic layer data B, but by decoding the reinforcement layer data E1 and E2 together and synthesizing with the basic layer data B, video reproduction with higher frequency component data can be performed. It will be possible.
図１１（ｂ）に示す第２の例は、図１１（ａ）に示す第１の例よりも次の点で優れている。具体的には、図１１（ａ）に示す第１の例において、基本階層データＢと補強階層データＥ２とを復号及び再生する場合、中間の周波数の補強階層データＥ１が抜けているため、不自然な絵柄になる。一方、図１１（ｂ）に示す第２の例によれば、そのような不具合を抑制できる。 The second example shown in FIG. 11B is superior to the first example shown in FIG. 11A in the following points. Specifically, in the first example shown in FIG. 11A, when the basic layer data B and the reinforcement layer data E2 are decoded and reproduced, the reinforcement layer data E1 having an intermediate frequency is missing, so that it is not possible. It becomes a natural pattern. On the other hand, according to the second example shown in FIG. 11B, such a defect can be suppressed.
なお、基本階層データＢと、補強階層データＥ１と、補強階層データＥ２とを分離する閾値となる周波数は適宜変更して構わない。また、補強階層データＥの分離方法は図１１（ａ）及び図１１（ｂ）に示す方法以外でもよい。 The frequency that serves as the threshold value for separating the basic hierarchical data B, the reinforcing hierarchical data E1, and the reinforcing hierarchical data E2 may be appropriately changed. Further, the method of separating the reinforcement layer data E may be other than the methods shown in FIGS. 11 (a) and 11 (b).
（３）ＳＮＲ階層符号化
図１２は、ＳＮＲ階層符号化を用いた階層符号化の例を示す図である。基本階層データＢは、映像データの画素値のうち最上位ビットに近いビットから構成される。補強階層データＥの分離方法として図１２（ａ）及び図１２（ｂ）の２例を示す。
(3) SNR hierarchical coding FIG. 12 is a diagram showing an example of hierarchical coding using SNR hierarchical coding. The basic layer data B is composed of bits close to the most significant bit among the pixel values of the video data. Two examples of FIG. 12A and FIG. 12B are shown as a method of separating the reinforcement layer data E.
図１２（ａ）に示す第１の例において、補強階層データＥ１は、基本階層データを構成する画素値のビット以外のうち上位のビットから構成される。補強階層データＥ２は、基本階層データ及び補強階層データＥ１を構成する画素値のビット以外の最下位のビットに近いビットから構成される。 In the first example shown in FIG. 12A, the reinforcement layer data E1 is composed of higher-order bits other than the pixels of the pixel values constituting the basic layer data. The reinforcement layer data E2 is composed of bits close to the lowest bit other than the bits of the pixel values constituting the basic layer data and the reinforcement layer data E1.
図１２（ｂ）に示す第２の例において、補強階層データＥ１は、基本階層データを構成する画素値のビット以外のうち低周波数成分の領域から構成される。補強階層データＥ２は、基本階層データを構成する画素値のビット以外のうち高周波成分の領域から構成される。 In the second example shown in FIG. 12B, the reinforcement layer data E1 is composed of a region of a low frequency component other than the bit of the pixel value constituting the basic layer data. The reinforcement layer data E2 is composed of a region of high frequency components other than the bits of the pixel values constituting the basic layer data.
基本階層データＢのみを復号することで映像再生は可能であるが、補強階層データＥ１やＥ２を組み合わせて復号し、基本階層データＢと合成することで、より高い量子化の精度のデータを持つ映像再生が可能となる。 Video reproduction is possible by decoding only the basic layer data B, but by combining and decoding the reinforcing layer data E1 and E2 and synthesizing with the basic layer data B, it has data with higher quantization accuracy. Video playback is possible.
図１２（ｂ）に示す第２の例は、図１２（ａ）に示す第１の例よりも次の点で優れている。具体的には、図１２（ａ）に示す第１の例において、基本階層データＢと補強階層データＥ２とを復号及び再生する場合、中間のビットの補強階層データＥ１が抜けているため、不自然な絵柄になる。一方、図１２（ｂ）に示す第２の例によれば、そのような不具合を抑制できる。 The second example shown in FIG. 12 (b) is superior to the first example shown in FIG. 12 (a) in the following points. Specifically, in the first example shown in FIG. 12A, when the basic layer data B and the reinforcement layer data E2 are decoded and reproduced, the reinforcement layer data E1 of the intermediate bit is missing, so that it is not possible. It becomes a natural pattern. On the other hand, according to the second example shown in FIG. 12B, such a defect can be suppressed.
なお、基本階層データＢと、補強階層データＥ１と、補強階層データＥ２とを分離する閾値となるビット数は適宜変更して構わない。また、補強階層データＥの分離方法は図１２（ａ）及び図１２（ｂ）に示す方法以外でもよい。 The number of bits serving as a threshold for separating the basic layer data B, the reinforcement layer data E1, and the reinforcement layer data E2 may be appropriately changed. Further, the method of separating the reinforcement layer data E may be other than the methods shown in FIGS. 12 (a) and 12 (b).
（端末装置の構成）
次に、本実施形態に係る端末装置４００の構成について説明する。図１３は、本実施形態に係る端末装置４００の構成を示す図である。
(Configuration of terminal device)
Next, the configuration of the
図１３に示すように、本実施形態に係る端末装置４００において、ストリーム取得部４５３は、基本階層データＢと補強階層データＥ１と補強階層データＥ２とを取得する。具体的には、ストリーム取得部４５３は、基本階層データ取得部４５３ａと、第１補強階層データ取得部４５３ｂと、第２補強階層データ取得部４５３ｃとを有する。
As shown in FIG. 13, in the
基本階層データ取得部４５３ａは、ネットワーク通信インターフェース部４１０を介して、配信サーバ２００から基本階層データＢを取得する。
The basic layer
第１補強階層データ取得部４５３ｂは、端末装置４００が図９に示す端末装置４００ａである場合、ネットワーク通信インターフェース部４１０を介して、配信サーバ２００から補強階層データＥ１を取得する。
When the
一方、端末装置４００が図９に示す端末装置４００ｂである場合、第１補強階層データ取得部４５３ｂは、端末間直接通信インターフェース部４２０を介して、端末装置４００ａから補強階層データＥ２を取得する。
On the other hand, when the
第２補強階層データ取得部４５３ｃは、端末装置４００が図９に示す端末装置４００ａである場合、端末間直接通信インターフェース部４２０を介して、端末装置４００ｂから補強階層データＥ２を取得する。
When the
一方、端末装置４００が図９に示す端末装置４００ｂである場合、第２補強階層データ取得部４５３ｃは、ネットワーク通信インターフェース部４１０を介して、配信サーバ２００から補強階層データＥ２を取得する。
On the other hand, when the
本実施形態において、補強階層データ転送部４５４は、図９に示す端末装置４００ａ及び４００ｂの双方に設けられる。
In the present embodiment, the reinforcement layer
補強階層データ転送部４５４は、端末装置４００が図９に示す端末装置４００ａである場合、第１補強階層データ取得部４５３ｂが取得した補強階層データＥ１を、端末間直接通信インターフェース部４２０を介して端末装置４００ｂに転送する。
When the
一方、端末装置４００が図９に示す端末装置４００ｂである場合、補強階層データ転送部４５４は、第２補強階層データ取得部４５３ｃが取得した補強階層データＥ２を、端末間直接通信インターフェース部４２０を介して端末装置４００ａに転送する。
On the other hand, when the
再生処理部４５５は、基本階層データ取得部４５３ａが取得した基本階層データＢと第１補強階層データ取得部４５３ｂが取得した補強階層データＥ１と第２補強階層データ取得部４５３ｃが取得した補強階層データＥ２とを組み合わせて復号及び再生する。
The
端末装置４００が図９に示す端末装置４００ａである場合、第２補強階層データ取得部４５３ｃは、端末間直接通信インターフェース部４２０を介して端末装置４００ｂから補強階層データＥ２を取得できない場合がある。端末装置４００ａにおいて、再生処理部４５５は、端末間直接通信が不可になった場合、基本階層データＢ及び補強階層データＥ１を組み合わせて復号及び再生する。
When the
端末装置４００が図９に示す端末装置４００ｂである場合、第１補強階層データ取得部４５３ｂは、端末間直接通信インターフェース部４２０を介して端末装置４００ａから補強階層データＥ１を取得できない場合がある。端末装置４００ｂにおいて、再生処理部４５５は、端末間直接通信が不可になった場合、基本階層データＢ及び補強階層データＥ２を組み合わせて復号及び再生する。
When the
なお、本実施形態におけるストリーミング配信システム１の動作については、第１実施形態に係る片方向の補強階層データ転送を双方向で行えばよく、基本的な動作については第１実施形態と同様である。
Regarding the operation of the
（第２実施形態のまとめ）
第２実施形態によれば、端末装置４００ａが基本階層データＢ及び補強階層データＥ１を配信サーバ２００から取得するため、第１実施形態に比べて、端末装置４００ａがネットワーク３００経由で取得すべきデータ量の削減を図り、端末装置４００ａ及び４００ｂ間の不公平感を解消できる。
(Summary of the second embodiment)
According to the second embodiment, since the
また、端末装置４００ｂが補強階層データＥ２を配信サーバ２００から取得しているため、端末間直接通信が不可になった場合であっても、端末装置４００ｂは、第１実施形態に比べて高画質な映像を再生可能である。
Further, since the
＜その他の実施形態＞
上述した実施形態において、基本階層データ及び補強階層データのそれぞれが映像データである一例について説明した。しかしながら、基本階層データを音声データとし、補強階層データを映像と音声の両方を持つ映像データとしてもよい。
<Other Embodiments>
In the above-described embodiment, an example in which each of the basic hierarchical data and the reinforcing hierarchical data is video data has been described. However, the basic hierarchical data may be audio data, and the reinforcing hierarchical data may be video data having both video and audio.
上述した第１及び第２実施形態を使い分けてもよい。例えば、インセンティブ管理サーバ５００は、端末装置４００ａ及び４００ｂのそれぞれの利用可能帯域に基づいて、第１実施形態に係る動作と第２実施形態に係る動作とを切り替えて用いてもよい。
The first and second embodiments described above may be used properly. For example, the
端末装置４００が行う各処理をコンピュータに実行させるプログラム及びインセンティブ管理サーバ５００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。コンピュータは、プログラムに従って演算処理を行うものであればどのようなものであってもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体であってもよい。
A program for causing the computer to execute each process performed by the
また、端末装置４００が行う各処理を実行する機能部（回路）を集積化し、端末装置４００を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。
Further, the functional unit (circuit) for executing each process performed by the
以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 Although one embodiment has been described in detail with reference to the drawings above, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the gist. ..
１ ：ストリーミング配信システム
１００ ：階層符号化器
２００ ：配信サーバ
３００ ：ネットワーク
４００ ：端末装置
４１０ ：ネットワーク通信インターフェース部
４２０ ：端末間直接通信インターフェース部
４３０ ：ユーザインターフェース部
４４０ ：記憶部
４５０ ：処理部
４５１ ：ネットワーク通信制御部
４５２ ：端末間直接通信制御部
４５３ ：ストリーム取得部
４５３ａ ：基本階層データ取得部
４５３ｂ ：補強階層データ取得部（第１補強階層データ取得部）
４５３ｃ ：第２補強階層データ取得部
４５４ ：補強階層データ転送部
４５５ ：再生処理部
４５５ａ ：階層復号部
４５５ｂ ：再生部
５００ ：インセンティブ管理サーバ
５１０ ：ネットワーク通信インターフェース部
５２０ ：記憶部
５３０ ：処理部
５３１ ：ペアリング管理部
５３２ ：データ転送管理部
５３３ ：インセンティブ決定部
1: Streaming distribution system 100: Hierarchical encoder 200: Distribution server 300: Network 400: Terminal device 410: Network communication interface unit 420: Direct communication interface unit between terminals 430: User interface unit 440: Storage unit 450: Processing unit 451 : Network communication control unit 452: Direct communication control unit between terminals 453:
453c: Second reinforcement layer data acquisition unit 454: Reinforcement layer data transfer unit 455:
Claims (8)
階層符号化を用いたストリーミング配信を行う配信サーバとの通信により、前記配信サーバから基本階層データを取得する基本階層データ取得部と、
前記配信サーバと通信する他の端末装置との端末間直接通信により、前記他の端末装置から転送される第１補強階層データを取得する第１補強階層データ取得部と、
前記配信サーバから取得される前記基本階層データと前記他の端末装置から取得される前記第１補強階層データとを組み合わせて復号及び再生する再生処理部と、を備えることを特徴とする端末装置。 A terminal device used in a streaming distribution system.
A basic layer data acquisition unit that acquires basic layer data from the distribution server by communicating with a distribution server that performs streaming distribution using layer coding.
A first reinforcement layer data acquisition unit that acquires first reinforcement layer data transferred from the other terminal device by direct communication between terminals with another terminal device communicating with the distribution server.
A terminal device comprising: a reproduction processing unit for decoding and reproducing the basic hierarchical data acquired from the distribution server and the first reinforcing hierarchical data acquired from the other terminal apparatus in combination.
前記第２補強階層データを前記端末間直接通信により前記他の端末装置に転送する補強階層データ転送部と、をさらに備え、
前記再生処理部は、前記配信サーバから取得される前記基本階層データと前記他の端末装置から取得される前記第１補強階層データと前記配信サーバから取得される前記第２補強階層データとを組み合わせて復号及び再生することを特徴とする請求項１に記載の端末装置。 A second reinforcement layer data acquisition unit that acquires second reinforcement layer data from the distribution server by communicating with the distribution server, and
It further includes a reinforcement layer data transfer unit that transfers the second reinforcement layer data to the other terminal device by direct communication between the terminals.
The reproduction processing unit combines the basic hierarchical data acquired from the distribution server, the first reinforcing hierarchical data acquired from the other terminal device, and the second reinforcing hierarchical data acquired from the distribution server. The terminal device according to claim 1, wherein the terminal device is decrypted and reproduced.
前記第１補強階層データ及び前記第２補強階層データのうち一方は、前記基本階層データ以外の前記映像データのうち垂直周波数の高周波成分の領域から構成されるデータであり、
前記第１補強階層データ及び前記第２補強階層データのうち他方は、前記基本階層データ以外の前記映像データのうち水平周波数の高周波成分の領域から構成されるデータであることを特徴とする請求項３又は４に記載の端末装置。 The basic hierarchical data is data composed of low frequency components in both horizontal and vertical frequencies among video data.
One of the first reinforcement layer data and the second reinforcement layer data is data composed of a region of a high frequency component of a vertical frequency among the video data other than the basic layer data.
The other of the first reinforcement layer data and the second reinforcement layer data is data composed of a region of a high frequency component of a horizontal frequency among the video data other than the basic layer data. The terminal device according to 3 or 4.
前記第１補強階層データ及び前記第２補強階層データのうち一方は、前記基本階層データを構成する各画素値のビット以外のうち低周波数成分の領域から構成されるデータであり、
前記第１補強階層データ及び前記第２補強階層データのうち他方は、前記基本階層データを構成する各画素値のビット以外のうち高周波成分の領域から構成されるデータであることを特徴とする請求項３又は４に記載の端末装置。 The basic layer data is data composed of bits close to the most significant bit of each pixel value of the video data.
One of the first reinforcement layer data and the second reinforcement layer data is data composed of a region of a low frequency component other than the bits of each pixel value constituting the basic layer data.
The other of the first reinforcement layer data and the second reinforcement layer data is data composed of a region of a high frequency component other than the bits of each pixel value constituting the basic layer data. Item 3. The terminal device according to item 3.
インセンティブ管理サーバと、を備え、
前記インセンティブ管理サーバは、
前記他の端末装置から前記端末装置への前記第１補強階層データの転送状況に基づいて、前記他の端末装置に対して付与するインセンティブを決定するインセンティブ決定部を有することを特徴とするストリーミング配信システム。 The terminal device according to any one of claims 1 to 6 and the other terminal device.
Equipped with an incentive management server
The incentive management server
Streaming distribution characterized by having an incentive determination unit that determines an incentive to be given to the other terminal device based on the transfer status of the first reinforcement layer data from the other terminal device to the terminal device. system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019078705A JP7235576B2 (en) | 2019-04-17 | 2019-04-17 | Terminal device, streaming distribution system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019078705A JP7235576B2 (en) | 2019-04-17 | 2019-04-17 | Terminal device, streaming distribution system, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020178216A true JP2020178216A (en) | 2020-10-29 |
| JP7235576B2 JP7235576B2 (en) | 2023-03-08 |
Family
ID=72936555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019078705A Active JP7235576B2 (en) | 2019-04-17 | 2019-04-17 | Terminal device, streaming distribution system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7235576B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005122577A1 (en) * | 2004-06-14 | 2005-12-22 | Matsushita Electric Industrial Co., Ltd. | Content use method and content recording device |
| CN101720041A (en) * | 2009-11-23 | 2010-06-02 | 杭州华三通信技术有限公司 | Hierarchical coding-based data processing method |
| JP2012095053A (en) * | 2010-10-26 | 2012-05-17 | Toshiba Corp | Stream transmission system, transmitter, receiver, stream transmission method, and program |
| JP2016127328A (en) * | 2014-12-26 | 2016-07-11 | 株式会社東芝 | Electronic apparatus and signal processing method |
| WO2018029471A1 (en) * | 2016-08-09 | 2018-02-15 | V-Nova Limited | Adaptive content delivery network |
| CN109618188A (en) * | 2018-12-19 | 2019-04-12 | 北京东土科技股份有限公司 | Coding, retransmission method, device, equipment and the storage medium of video data |
-
2019
- 2019-04-17 JP JP2019078705A patent/JP7235576B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005122577A1 (en) * | 2004-06-14 | 2005-12-22 | Matsushita Electric Industrial Co., Ltd. | Content use method and content recording device |
| CN101720041A (en) * | 2009-11-23 | 2010-06-02 | 杭州华三通信技术有限公司 | Hierarchical coding-based data processing method |
| JP2012095053A (en) * | 2010-10-26 | 2012-05-17 | Toshiba Corp | Stream transmission system, transmitter, receiver, stream transmission method, and program |
| JP2016127328A (en) * | 2014-12-26 | 2016-07-11 | 株式会社東芝 | Electronic apparatus and signal processing method |
| WO2018029471A1 (en) * | 2016-08-09 | 2018-02-15 | V-Nova Limited | Adaptive content delivery network |
| CN109618188A (en) * | 2018-12-19 | 2019-04-12 | 北京东土科技股份有限公司 | Coding, retransmission method, device, equipment and the storage medium of video data |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7235576B2 (en) | 2023-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6636122B2 (en) | Decoding device and decoding method | |
| TWI610564B (en) | Static frame image quality improvement for sink displays | |
| JP5830496B2 (en) | Display controller and screen transfer device | |
| US20190215534A1 (en) | Image processing apparatus and image processing method | |
| US10951914B2 (en) | Reliable large group of pictures (GOP) file streaming to wireless displays | |
| CN109891850A (en) | Method and apparatus for reducing the delay of 360 degree of vision area adaptive stream medias | |
| JPWO2018037737A1 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
| US7961192B2 (en) | Multi-graphics processor system and method for processing content communicated over a network for display purposes | |
| CN112887739A (en) | Electronic device, system and control method thereof | |
| CN112868229A (en) | Method and apparatus for streaming data | |
| US10298927B2 (en) | Image decoding device and method | |
| US10708667B1 (en) | Combining fragments with different encodings | |
| US20200374532A1 (en) | Switchable chroma sampling for wireless display | |
| Laghari et al. | The state of art and review on video streaming | |
| US7969443B2 (en) | System and method for dynamically processing content being communicated over a network for display purposes | |
| JP7235576B2 (en) | Terminal device, streaming distribution system, and program | |
| JP2014131142A (en) | Receiver, reception method and program, imaging apparatus, imaging method and program, transmitter, transmission method and program | |
| US11409415B1 (en) | Frame interpolation for media streaming | |
| KR101830882B1 (en) | Method and apparatus for generating control packet | |
| US10298651B2 (en) | Encoding device, decoding device, computer program product, and streaming system | |
| JP2007123984A (en) | Content distribution system, stream transmission apparatus, receiving apparatus, and content distribution method | |
| JP6400163B2 (en) | Reception device, reception method, transmission device, transmission method, and program | |
| JP2005045297A (en) | Camera system and camera apparatus | |
| JP2014103534A (en) | Image transmission device | |
| US10135896B1 (en) | Systems and methods providing metadata for media streaming |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220311 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230224 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7235576 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |