JP2020178216A - Terminal device, streaming distribution system, and program - Google Patents
Terminal device, streaming distribution system, and program Download PDFInfo
- Publication number
- JP2020178216A JP2020178216A JP2019078705A JP2019078705A JP2020178216A JP 2020178216 A JP2020178216 A JP 2020178216A JP 2019078705 A JP2019078705 A JP 2019078705A JP 2019078705 A JP2019078705 A JP 2019078705A JP 2020178216 A JP2020178216 A JP 2020178216A
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- layer data
- data
- reinforcement layer
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 claims abstract description 149
- 230000002787 reinforcement Effects 0.000 claims abstract description 143
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000012546 transfer Methods 0.000 claims description 75
- 230000003014 reinforcing effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 17
- 230000003190 augmentative effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000006866 deterioration Effects 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、端末装置、ストリーミング配信システム、及びプログラムに関する。 The present invention relates to terminal devices, streaming distribution systems, and programs.
インターネットを介した映像配信においては、ネットワークの混雑状況により、端末装置ごとに利用可能な通信帯域が時々刻々と変化する現状があり、HTTP Live StreamingやMPEG−DASH等のアダプティブストリーミング方式が一般的に利用されている。 In video distribution via the Internet, the communication band that can be used for each terminal device changes from moment to moment depending on the network congestion, and adaptive streaming methods such as HTTP Live Streaming and MPEG-DASH are generally used. It's being used.
一方、映像配信の通信経路としては、インターネットだけではなく、端末間直接通信によりデータを送受信する方法も有りうる。例えば非特許文献1には、端末間直接通信により端末間でデータを直接的に転送する技術が記載されている。
On the other hand, as a communication path for video distribution, not only the Internet but also a method of transmitting and receiving data by direct communication between terminals may be possible. For example, Non-Patent
上述したようなストリーミング配信において端末間直接通信を活用することにより、インターネットの輻輳やキャッシュサーバの混雑に起因する利用可能帯域の低下の影響を抑制できると考えられる。 By utilizing direct communication between terminals in the above-mentioned streaming distribution, it is considered that the influence of the decrease in available bandwidth due to the congestion of the Internet and the congestion of the cache server can be suppressed.
しかしながら、端末間直接通信は端末間の無線通信を利用しており、無線干渉等の環境要因によって端末間直接通信が不可になりうる。このような場合、端末間直接通信によりデータを受信する端末装置において映像の再生が途切れるといった問題がある。 However, direct communication between terminals uses wireless communication between terminals, and direct communication between terminals may become impossible due to environmental factors such as wireless interference. In such a case, there is a problem that the reproduction of the video is interrupted in the terminal device that receives the data by the direct communication between the terminals.
そこで、本発明は、端末間直接通信を活用した映像のストリーミング配信において、端末間の無線通信環境が悪化した場合にも、映像の再生を継続できる端末装置、ストリーミング配信システム、及びプログラムを提供することを目的とする。 Therefore, the present invention provides a terminal device, a streaming distribution system, and a program capable of continuing video reproduction even when the wireless communication environment between terminals deteriorates in the streaming distribution of video utilizing direct communication between terminals. The purpose is.
第1の態様に係る端末装置は、ストリーミング配信システムにおいて用いる端末装置であって、階層符号化を用いたストリーミング配信を行う配信サーバとの通信により、前記配信サーバから基本階層データを取得する基本階層データ取得部と、前記配信サーバと通信する他の端末装置との端末間直接通信により、前記他の端末装置から転送される第1補強階層データを取得する第1補強階層データ取得部と、前記配信サーバから取得される前記基本階層データと前記他の端末装置から取得される前記第1補強階層データとを組み合わせて復号及び再生する再生処理部とを備えることを要旨とする。 The terminal device according to the first aspect is a terminal device used in a streaming distribution system, and is a basic layer that acquires basic layer data from the distribution server by communicating with a distribution server that performs streaming distribution using hierarchical coding. The first reinforcement layer data acquisition unit that acquires the first reinforcement layer data transferred from the other terminal device by direct communication between the data acquisition unit and another terminal device that communicates with the distribution server, and the above. The gist is to include a reproduction processing unit that decodes and reproduces the basic hierarchical data acquired from the distribution server and the first reinforcing hierarchical data acquired from the other terminal device in combination.
第2の態様に係るストリーミング配信システムは、第1の態様に係る前記端末装置及び前記他の端末装置と、インセンティブ管理サーバと、を備え、前記インセンティブ管理サーバは、前記他の端末装置から前記端末装置への前記第1補強階層データの転送状況に基づいて、前記他の端末装置に対して付与するインセンティブを決定するインセンティブ決定部を有することを要旨とする。 The streaming distribution system according to the second aspect includes the terminal device according to the first aspect, the other terminal device, and an incentive management server, and the incentive management server is the terminal from the other terminal device. It is a gist to have an incentive determination unit that determines an incentive to be given to the other terminal device based on the transfer status of the first reinforcement layer data to the device.
第3の態様に係るプログラムは、コンピュータを第1の態様に係る端末装置として機能させることを要旨とする。 The gist of the program according to the third aspect is to make the computer function as a terminal device according to the first aspect.
本発明によれば、端末間直接通信を活用した映像のストリーミング配信において、端末間の無線通信環境が悪化した場合にも、映像の再生を継続できる端末装置、ストリーミング配信システム、及びプログラムを提供できる。 According to the present invention, in the streaming distribution of video utilizing direct communication between terminals, it is possible to provide a terminal device, a streaming distribution system, and a program capable of continuing video reproduction even when the wireless communication environment between terminals deteriorates. ..
図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。 An embodiment will be described with reference to the drawings. In the description of the drawings, the same or similar parts are designated by the same or similar reference numerals.
<第1実施形態>
(ストリーミング配信システムの構成)
まず、本実施形態に係るストリーミング配信システムの構成について説明する。図1は、本実施形態に係るストリーミング配信システム1の構成を示す図である。
<First Embodiment>
(Streaming distribution system configuration)
First, the configuration of the streaming distribution system according to the present embodiment will be described. FIG. 1 is a diagram showing a configuration of a
図1に示すように、ストリーミング配信システム1は、階層符号化器100と、配信サーバ200と、ネットワーク300と、一対の端末装置400a及び400bと、インセンティブ管理サーバ500とを有する。以下において、端末装置400a及び400bを特に区別しないときは単に端末装置400と呼ぶ。
As shown in FIG. 1, the
階層符号化器100は、高品質映像である原映像データに対して階層符号化を施し、階層符号化した映像データを配信サーバ200に格納する。図1に示す例において、階層符号化器100は、基本階層データBと補強階層データEとを配信サーバ200に出力する。本実施形態において、補強階層データEは、第1補強階層データに相当する。
The
ここで、基本階層データBは、原映像データのビットレートに対して低い符号化ビットレートで符号化した階層の映像データであって、独立して復号及び再生が可能なデータである。基本階層データBは、低品質映像データに相当する。 Here, the basic layer data B is image data in a layer encoded at a coded bit rate lower than the bit rate of the original video data, and is data that can be independently decoded and reproduced. The basic layer data B corresponds to low quality video data.
補強階層データEは、基本階層データBで符号化していない階層の映像データであって、基本階層データBと組み合わせて復号及び再生が可能なデータである。すなわち、補強階層データEは、高品質映像データのうち基本階層データB以外のデータである。 The supplementary layer data E is video data of a layer that is not encoded by the basic layer data B, and is data that can be decoded and reproduced in combination with the basic layer data B. That is, the reinforcement layer data E is data other than the basic layer data B among the high quality video data.
端末装置400は、基本階層データBと併せて補強階層データEを取得して復号することで、基本階層データBのみで映像再生を行うよりも高い符号化ビットレートでの映像再生、すなわち、高品質映像の再生を行うことができるようになる。
By acquiring and decoding the reinforcement layer data E together with the basic layer data B, the
なお、階層符号化器100における階層符号化としては、例えば、時間階層符号化、空間階層符号化、又はSNR階層符号化を利用できる。これらの階層符号化については、例えば、「角野眞也、映像情報メディア学会誌Vol.61,No.4(2007)、インターネット<URL:https://www.ite.or.jp/contents/keywords/FILE−20111231153637.pdf>」に記載されている。
As the hierarchical coding in the
配信サーバ200は、階層符号化器100から出力された基本階層データBと補強階層データEとを格納する。配信サーバ200は、ネットワーク300を介して端末装置400との通信を行う。具体的には、配信サーバ200は、端末装置400からの要求に応じて、格納したデータをストリーミング配信により配信する。本実施形態において、配信サーバ200は、基本階層データB及び補強階層データEを端末装置400aに配信するとともに、基本階層データBを端末装置400bに配信する。
The
ネットワーク300は、インターネットを含む。ネットワーク300は、無線通信サービスを提供する事業者の無線通信ネットワークを含んでもよい。ネットワーク300は、狭域通信ネットワーク(LAN)を含んでもよい。
The
端末装置400は、ネットワーク300に接続して通信を行う機能、端末間直接通信を行う機能、及び映像データを再生する機能を有する。端末装置400は、これらの機能を有する端末であればどのような端末であってもよいが、例えば、スマートフォン端末、タブレット端末、パーソナルコンピュータ(PC)、ポータブルテレビ、又はウェアラブル端末等である。
The
端末装置400a及び400bのそれぞれは、ネットワーク300に有線又は無線で接続し、ネットワーク300を介して配信サーバ200との通信を行う。ここで、ネットワーク300を介した通信について、端末装置400bの利用可能帯域は、端末装置400aの利用可能帯域よりも少なくてもよい。端末装置400bは、ネットワーク300を介した通信における利用可能帯域が枯渇した状態になりうる。
Each of the
本実施形態において、端末装置400aは、基本階層データB及び補強階層データEの配信を配信サーバ200に要求し、基本階層データB及び補強階層データEを配信サーバ200から取得する。端末装置400bは、基本階層データBの配信を配信サーバ200に要求し、補強階層データEを配信サーバ200から取得せずに基本階層データBを配信サーバ200から取得する。
In the present embodiment, the
端末装置400a及び400bは、端末間直接通信を行う。端末間直接通信には、例えば、Wi−Fiダイレクト規格、ブルートゥース(登録商標)規格、セルラD2D(Device−to−Device)通信規格のいずれかの端末間直接通信規格を用いることができる。以下において、端末間直接通信が確立されることを「ペアリング」と呼ぶことがある。端末装置400aは、配信サーバ200から取得した補強階層データEを端末間直接通信により端末装置400bに転送する。
The
なお、端末装置400aから端末装置400bに対して端末間直接通信によりデータ転送を実施する場合について説明するが、端末装置400aと端末装置400bの役割は逆でもよい。また、図1では、2台の端末装置間でデータ転送を行う場合の構成を示しているが、データ転送を実施する端末は何台でも構わない。
A case where data transfer is performed from the
端末装置400aは、配信サーバ200から取得した基本階層データB及び補強階層データEを組み合わせて復号及び再生する。一方、端末装置400bは、配信サーバ200からネットワーク300を介して取得した基本階層データBと端末装置400aから端末間直接通信により取得した補強階層データEとを組み合わせて復号及び再生する。
The
ここで、端末装置400において、基本階層データB及び補強階層データEを組み合わせて復号及び再生する場合の符号化ビットレートについて説明する。
Here, the coding bit rate when the basic layer data B and the augmented layer data E are combined and decoded and reproduced in the
階層符号化器100から出力される階層符号化データである映像ストリームにおいて、基本階層データBの符号化ビットレートが3Mbpsであり、補強階層データEの符号化ビットレートが1Mbpsであるとする。
In the video stream which is the hierarchically encoded data output from the
端末装置400aは、基本階層データB及び補強階層データEを配信サーバ200からネットワーク300経由で取得し、それらを合成した4Mbps(=3Mbps+1Mbps)の映像を再生する。
The
端末装置400bは、基本階層データBの映像ストリームを配信サーバ200からネットワーク300経由で取得し、補強階層データEを端末装置400aから端末間直接通信により取得し、それらを合成した4Mbps(=3Mbps+1Mbps)の映像を再生する。
The
このように、基本階層データB及び補強階層データEを組み合わせて復号及び再生することにより、高品質な映像再生が可能である。 In this way, high-quality video reproduction is possible by decoding and reproducing the basic layer data B and the reinforcement layer data E in combination.
但し、端末装置400bは、無線干渉等の環境要因によって端末間直接通信が不可になった場合、端末装置400bから補強階層データEを取得できず、配信サーバ200から取得した基本階層データBを復号及び再生する。
However, when the
これにより、端末装置400bにおいて、端末間直接通信が不可になった場合、画質の劣化は許容するものの、映像再生が途切れることを回避できる。
As a result, in the
インセンティブ管理サーバ500は、データ転送を実施した端末装置400aに対して付与するインセンティブを決定し、端末装置400aに対してインセンティブを付与する処理を行う。
The
例えば、インセンティブ管理サーバ500は、転送した補強階層データの符号化ビットレートや、補強階層データを転送した時間に応じて、インセンティブの量を決める。インセンティブの一例としては、映像サービス利用料金のディスカウントが挙げられる。
For example, the
端末装置400aは、端末装置400aに比べて多くのデータを配信サーバ200から取得する必要があり、端末装置400aに比べて通信コストの負担が大きい。このため、この通信コスト負担を補うに価するインセンティブを端末装置400aに提供することで、端末装置400間の不公平感を解消する。
The
(端末装置の構成)
次に、本実施形態に係る端末装置400の構成について説明する。図2は、本実施形態に係る端末装置400の構成を示す図である。
(Configuration of terminal device)
Next, the configuration of the
図2に示すように、端末装置400は、ネットワーク通信インターフェース部410と、端末間直接通信インターフェース部420と、ユーザインターフェース部430と、記憶部440と、処理部450とを有する。
As shown in FIG. 2, the
ネットワーク通信インターフェース部410は、ネットワーク300に有線又は無線で接続する。ネットワーク通信インターフェース部410は、イーサネット(登録商標)等の有線通信を行う有線通信モジュールを含んでもよいし、無線LAN通信又はセルラ通信等の無線通信を行う無線通信モジュールを含んでもよい。
The network
端末間直接通信インターフェース部420は、他の端末装置に無線で接続する。端末間直接通信インターフェース部420は、端末間直接通信を行うことが可能な無線通信モジュール、例えば、Wi−Fiダイレクト規格、ブルートゥース(登録商標)規格、セルラD2D通信規格等に準拠する無線通信モジュールを含んでもよい。
The terminal-to-terminal direct
ユーザインターフェース部430は、端末装置400のユーザとのインターフェースを構成する。ユーザインターフェース部430は、映像を表示する表示部、音声を出力する音声出力部、ユーザ操作を受け付ける操作部等を含む。
The
記憶部440は、処理部450により実行されるプログラムと、処理部450による処理に用いられる情報を記憶する。記憶部440は、揮発性メモリ及び不揮発性メモリを含んでもよい。
The
処理部450は、記憶部440に記憶されたプログラムを実行することにより、端末装置400における各種の処理及び制御を行う。本実施形態において、処理部450は、ネットワーク通信制御部451と、端末間直接通信制御部452と、ストリーム取得部453と、補強階層データ転送部454と、再生処理部455とを有する。
The
ネットワーク通信制御部451は、ネットワーク通信インターフェース部410を制御する。また、ネットワーク通信制御部451は、ネットワーク通信インターフェース部410を介して配信サーバ200及びインセンティブ管理サーバ500との通信を行う。
The network
端末間直接通信制御部452は、端末間直接通信インターフェース部420を制御する。また、端末間直接通信制御部452は、端末間直接通信インターフェース部420を介して他の端末装置との通信を行う。
The terminal-to-terminal direct
ストリーム取得部453は、基本階層データB及び補強階層データEを取得する。本実施形態において、ストリーム取得部453は、基本階層データ取得部453aと、補強階層データ取得部453bとを有する。本実施形態において、補強階層データ取得部453bは、第1補強階層データ取得部に相当する。
The
基本階層データ取得部453aは、ネットワーク通信インターフェース部410を介して、配信サーバ200から基本階層データBを取得する。
The basic layer
補強階層データ取得部453bは、端末装置400が図1に示す端末装置400aである場合、ネットワーク通信インターフェース部410を介して、配信サーバ200から補強階層データEを取得する。
When the
一方、端末装置400が図1に示す端末装置400bである場合、補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して、端末装置400aから補強階層データEを取得する。
On the other hand, when the
本実施形態において、補強階層データ転送部454は、図1に示す端末装置400aに設けられる。補強階層データ転送部454は、補強階層データ取得部453bが取得した補強階層データEを、端末間直接通信インターフェース部420を介して端末装置400bに転送する。
In the present embodiment, the reinforcement layer
再生処理部455は、基本階層データ取得部453aが取得した基本階層データBと補強階層データ取得部453bが取得した補強階層データEとを組み合わせて復号及び再生する。再生処理部455は、階層復号部455aと、再生部455bとを有する。
The
階層復号部455aは、基本階層データB及び補強階層データEを復号するとともに、基本階層データB及び補強階層データEを合成して1つの映像ストリームを再生部455bに出力する。
The
再生部455bは、階層復号部455aから出力された映像ストリームを再生する。ユーザインターフェース部430に表示部が含まれる場合、再生部455bは、この表示部に映像を表示させてもよい。再生部455bは、端末装置400の外部の表示部に映像を表示させてもよい。
The
端末装置400が図1に示す端末装置400bである場合、補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して端末装置400aから補強階層データEを取得できない場合がある。
When the
再生処理部455は、端末間直接通信が不可になった場合、配信サーバ200から取得される基本階層データBを復号及び再生する。具体的には、階層復号部455aは、基本階層データBのみを復号して映像ストリームを再生部455bに出力し、再生部455bは、階層復号部455aから出力された映像ストリームを再生する。
When the direct communication between terminals becomes impossible, the
(インセンティブ管理サーバの構成)
次に、本実施形態に係るインセンティブ管理サーバ500の構成について説明する。図3は、本実施形態に係るインセンティブ管理サーバ500の構成を示す図である。
(Configuration of incentive management server)
Next, the configuration of the
図3に示すように、インセンティブ管理サーバ500は、ネットワーク通信インターフェース部510と、記憶部520と、処理部530とを有する。
As shown in FIG. 3, the
ネットワーク通信インターフェース部510は、ネットワーク300に有線又は無線で接続する。ネットワーク通信インターフェース部510は、イーサネット(登録商標)等の有線通信を行う有線通信モジュールを含んでもよいし、無線LAN通信等の無線通信を行う無線通信モジュールを含んでもよい。
The network
記憶部520は、処理部530により実行されるプログラムと、処理部530による処理に用いられる情報を記憶する。記憶部520は、揮発性メモリ及び不揮発性メモリを含んでもよい。
The
処理部530は、記憶部520に記憶されたプログラムを実行することにより、インセンティブ管理サーバ500における各種の処理及び制御を行う。処理部530は、ペアリング管理部531と、データ転送管理部532と、インセンティブ決定部533とを有する。
The
ペアリング管理部531は、ネットワーク通信インターフェース部510を介して各端末装置400との通信を行うことにより、端末装置400間のペアリング状況を管理する。
The
データ転送管理部532は、ネットワーク通信インターフェース部510を介して各端末装置400との通信を行うことにより、端末装置400間の補強階層データEの転送状況を管理する。
The data
また、データ転送管理部532は、端末装置400aから端末装置400bへの補強階層データEの転送状況を端末装置400aから取得する。或いは、データ転送管理部532は、端末装置400aから端末装置400bへの補強階層データEの転送状況を端末装置400bから取得してもよい。補強階層データEの転送状況とは、他の端末装置への補強階層データEの転送時間や転送データ量等の指標をいうが、他の端末装置への貢献度合を示す指標であればどのような指標であってもよい。
Further, the data
インセンティブ決定部533は、端末装置400aから端末装置400bへの補強階層データEの転送状況に基づいて、端末装置400aに対して付与するインセンティブを決定する。インセンティブの決定方法の一例を図4(a)に示す。インセンティブ決定部533は、データ転送を実施したデータ量に比例したインセンティブを付与する。具体的には、インセンティブ決定部533は、より多くのデータ量のデータ転送を実施した端末装置400aに対してより多くのインセンティブを付与する。
The
例えば、インセンティブ決定部533は、端末装置400aが10GB分のデータ転送を実施した場合、映像サービス利用料金の映像1本分の無料視聴サービスを提供する等が挙げられる。インセンティブ決定部533は、映像サービス利用料をポイント制として管理し、ポイントとしてインセンティブを付与してもよい。
For example, when the
インセンティブ決定部533は、端末装置400bが再生する映像データの符号化ビットレートから体感品質を判定し、当該判定した体感品質に基づいてインセンティブを決定してもよい。インセンティブ決定部533は、端末装置400bが再生する映像データの内容(種別)も考慮して体感品質を判定してもよい。
The
図4(b)に示すように、映像の符号化ビットレートと体感品質とは非線形関係にあり、符号化ビットレートを増加させても必ずしも体感品質が大きく向上するとは限らず、且つ体感品質は視聴する映像素材ごとによっても異なる。体感品質が向上しないにも拘わらずデータ転送を実施して符号化ビットレートを増加させることは不要であるため、インセンティブ決定部533は、インセンティブ量を体感品質の向上度を考慮して決定することが好ましい。
As shown in FIG. 4 (b), the coded bit rate of the image and the perceived quality have a non-linear relationship, and increasing the coded bit rate does not necessarily greatly improve the perceived quality, and the perceived quality does not necessarily improve significantly. It also depends on the video material you are watching. Since it is not necessary to carry out data transfer to increase the coded bit rate even though the perceived quality is not improved, the
(ストリーミング配信システムの動作例)
次に、本実施形態に係るストリーミング配信システム1の動作例について説明する。
(Example of operation of streaming distribution system)
Next, an operation example of the
(1)動作例1
図5は、本実施形態に係るストリーミング配信システム1の動作例1を示す図である。
(1) Operation example 1
FIG. 5 is a diagram showing an operation example 1 of the
図5に示すように、ステップS101において、端末装置400bのネットワーク通信制御部451は、端末装置400aによるデータ転送の提供可否の状況をインセンティブ管理サーバ500から取得する。
As shown in FIG. 5, in step S101, the network
ステップS102において、端末装置400bのネットワーク通信制御部451は、端末間直接通信により端末装置400aから補強階層データEの映像ストリームを取得することをインセンティブ管理サーバ500に要求する。
In step S102, the network
ステップS103において、インセンティブ管理サーバ500のデータ転送管理部532は、端末装置400aからの要求に応じて、端末装置400bによるデータ転送の要求状況を端末装置400aに通知する。端末装置400aのネットワーク通信制御部451は、端末装置400bによるデータ転送の要求状況をインセンティブ管理サーバ500から取得する。
In step S103, the data
ステップS104において、端末装置400aのネットワーク通信制御部451は、端末装置400bにより要求されている補強階層データEの映像ストリームを提供する申出をインセンティブ管理サーバ500に対して行う。
In step S104, the network
ステップS105において、端末装置400a及び400bのそれぞれの端末間直接通信制御部452は、相互にペアリングを行い、端末間直接通信を可能にする。
In step S105, the terminal-to-terminal direct
なお、端末間直接通信制御部452は、端末装置400aにおいて転送中止の申出があった場合、又は端末装置400bにおいて転送データの取得中止の申出があった場合、端末間直接通信を切断し、ペアリングを解除する。また、端末間直接通信制御部452は、電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された場合もペアリングを解除する。
When the
ステップS106において、端末装置400aのネットワーク通信制御部451は、端末装置400bとのペアリングが開始された旨をインセンティブ管理サーバ500に通知する。同様に、ステップS107において、端末装置400bのネットワーク通信制御部451は、端末装置400aとのペアリングが開始された旨をインセンティブ管理サーバ500に通知する。インセンティブ管理サーバ500のペアリング管理部531は、端末装置400a及び400bがペアリングされことを記憶する。
In step S106, the network
ステップS108において、インセンティブ管理サーバ500のデータ転送管理部532は、端末装置400bに補強階層データEの映像ストリームを転送するように端末装置400aに指示する。
In step S108, the data
ステップS109において、インセンティブ管理サーバ500のデータ転送管理部532は、端末装置400aから補強階層データEの映像ストリームを取得するように端末装置400bに指示する。
In step S109, the data
ステップS110において、端末装置400aのストリーム取得部453は、基本階層データB及び補強階層データEのそれぞれの映像ストリームを配信サーバ200から取得する。
In step S110, the
ステップS111において、端末装置400bのストリーム取得部453は、基本階層データBの映像ストリームを配信サーバ200から取得する。
In step S111, the
ステップS112において、端末装置400aの補強階層データ転送部454は、配信サーバ200から取得した補強階層データEの映像ストリームを端末間直接通信により端末装置400bに転送する。
In step S112, the reinforcement layer
ステップS113において、端末装置400aの再生処理部455は、配信サーバ200から取得した基本階層データB及び補強階層データEを組み合わせて復号及び再生する。
In step S113, the
ステップS114において、端末装置400bの再生処理部455は、配信サーバ200から取得した基本階層データBと端末装置400aから取得した補強階層データEとを組み合わせて復号及び再生する。
In step S114, the
ステップS110乃至S114の動作は、1)端末装置400aにおいて転送中止の申出があった、2)端末装置400bにおいて転送データの取得中止の申出があった、3)電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された、のいずれかの事象が発生するまで繰り返される。
The operations of steps S110 to S114 are as follows: 1) There was a request to stop the transfer in the
ステップS115において、端末装置400aの補強階層データ転送部454は、端末装置400bに対する補強階層データEの映像ストリームの転送状況をインセンティブ管理サーバ500に通知する。
In step S115, the reinforcement layer
ステップS116において、インセンティブ管理サーバ500のインセンティブ決定部533は、端末装置400aから端末装置400bへの補強階層データEの映像ストリームの転送状況に基づいて、端末装置400aに対して付与するインセンティブを決定する。
In step S116, the
(2)動作例2
図6は、本実施形態に係るストリーミング配信システム1の動作例2を示す図である。本動作例では、動作例1で説明したような補強階層データEの映像ストリームの転送が開始された後、ペアリングが解除される場合について説明する。
(2) Operation example 2
FIG. 6 is a diagram showing an operation example 2 of the
図6に示すように、ステップS131乃至ステップS135の動作は、上述した動作例1と同様である。 As shown in FIG. 6, the operations of steps S131 to S135 are the same as those of the above-described operation example 1.
ここで、1)端末装置400aにおいて転送中止の申出があった、2)端末装置400bにおいて転送データの取得中止の申出があった、3)電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された、のいずれかの事象が発生したものとする。
Here, 1) there was a request to stop the transfer at the
ステップS136において、端末装置400a及び400bのそれぞれの端末間直接通信制御部452は、ペアリングを解除し、端末間直接通信が不可になる。
In step S136, the terminal-to-terminal direct
ステップS137において、端末装置400aのネットワーク通信制御部451は、端末装置400bとのペアリングが終了した旨をインセンティブ管理サーバ500に通知する。同様に、ステップS138において、端末装置400bのネットワーク通信制御部451は、端末装置400aとのペアリングが終了した旨をインセンティブ管理サーバ500に通知する。インセンティブ管理サーバ500のペアリング管理部531は、端末装置400a及び400bのペアリングが終了したことを記憶する。
In step S137, the network
ステップS139において、端末装置400aの補強階層データ転送部454は、端末装置400bに対する補強階層データEの映像ストリームの転送状況をインセンティブ管理サーバ500に通知する。
In step S139, the reinforcement layer
ステップS140において、インセンティブ管理サーバ500のインセンティブ決定部533は、端末装置400aから端末装置400bへの補強階層データEの映像ストリームの転送状況に基づいて、端末装置400aに対して付与するインセンティブを決定する。
In step S140, the
ステップS141において、端末装置400aのストリーム取得部453は、基本階層データB及び補強階層データEのそれぞれの映像ストリームを配信サーバ200から取得する。
In step S141, the
ステップS142において、端末装置400bのストリーム取得部453は、基本階層データBの映像ストリームを配信サーバ200から取得する。
In step S142, the
ステップS143において、端末装置400aの再生処理部455は、配信サーバ200から取得した基本階層データB及び補強階層データEを組み合わせて復号及び再生する。
In step S143, the
ステップS144において、端末装置400bの再生処理部455は、配信サーバ200から取得した基本階層データBを復号及び再生する。
In step S144, the
(端末装置の動作)
次に、本実施形態に係る端末装置400a及び400bの動作例について説明する。
(Operation of terminal device)
Next, an operation example of the
(1)端末装置400aの動作例
図7は、本実施形態に係る端末装置400aの動作例を示す図である。
(1) Operation Example of
図7に示すように、ステップS201において、ネットワーク通信制御部451は、端末装置400a付近に、端末間直接通信によるデータ転送を要求している端末装置400bが存在するかをインセンティブ管理サーバ500に確認し、データ転送要求状況をインセンティブ管理サーバ500から取得する。
As shown in FIG. 7, in step S201, the network
ステップS202において、ネットワーク通信制御部451は、ユーザがデータ転送要求状況を見て、ストリーム提供を発意したとき、端末間直接通信により端末装置400bに映像ストリームを提供することをインセンティブ管理サーバ500に申し出る。
In step S202, when the user sees the data transfer request status and decides to provide the stream, the network
ステップS203において、端末間直接通信制御部452は、端末装置400bとのペアリングを行い、端末間直接通信を可能にする。そして、ネットワーク通信制御部451は、ペアリング状況をインセンティブ管理サーバ500に通知する。
In step S203, the terminal-to-terminal direct
ステップS204において、ストリーム取得部453は、基本階層データB及び補強階層データEを配信サーバ200からネットワーク300経由で取得する。
In step S204, the
ステップS205において、補強階層データ転送部454は、補強階層データEを端末装置400bに提供し、同時に提供した時間やデータ量等のデータ転送状況を計測する。なお、データ転送状況は端末装置400bへの貢献度合が測られる指標であれば異なる指標でもよい。
In step S205, the reinforcement layer
ここで、端末間直接通信制御部452は、ペアリングが継続しているか否かを監視する。ペアリングが継続していれば、補強階層データ転送部454は、データ転送を継続する。一方、端末装置400bのユーザによるペアリングの離脱申出があった場合や、電波状況の劣化等に伴い端末間直接通信が切断された場合、端末間直接通信制御部452は、ペアリングを解除する。
Here, the terminal-to-terminal direct
ステップS206において、ネットワーク通信制御部451は、データ転送状況をインセンティブ管理サーバ500に通知する。
In step S206, the network
一方、ステップS207において、再生処理部455は、配信サーバ200からネットワーク300経由で取得した基本階層データB及び補強階層データEを復号する。
On the other hand, in step S207, the
ステップS208において、再生処理部455は、復号した基本階層データB及び補強階層データEの映像ストリームを合成し、1つの映像ストリームに変換する。
In step S208, the
ステップS209において、再生処理部455は、映像ストリームを再生する。
In step S209, the
(2)端末装置400bの動作例
図8は、本実施形態に係る端末装置400bの動作例を示す図である。
(2) Operation Example of
図8に示すように、ステップS301において、ネットワーク通信制御部451は、端末装置400b付近に、端末間直接通信による映像ストリームを提供している端末装置400aが存在するかインセンティブ管理サーバ500に確認し、データ転送提供状況を取得する。
As shown in FIG. 8, in step S301, the network
ステップS302において、ネットワーク通信制御部451は、端末装置400bのユーザがデータ転送提供状況を見て、データ取得を発意したとき、端末間直接通信により端末装置400aから映像ストリームを取得することをインセンティブ管理サーバ500に申し出る。
In step S302, the network
ステップS303において、端末間直接通信制御部452は、端末装置400aとペアリングし、端末間直接通信を可能にする。また、ネットワーク通信制御部451は、ペアリング状況をインセンティブ管理サーバ500に通知する。
In step S303, the terminal-to-terminal direct
ステップS304において、ストリーム取得部453は、基本階層データBの映像ストリームを配信サーバ200からネットワーク300経由で取得する。
In step S304, the
ステップS305において、ストリーム取得部453は、補強階層データEの映像ストリームを、端末装置400aから端末間直接通信により取得する。
In step S305, the
ここで、端末間直接通信制御部452は、ペアリングが継続しているか否かを監視し、ペアリングが継続していれば、転送データの取得を継続する。一方、端末間直接通信制御部452は、端末装置400bのユーザによるペアリングの離脱申出があった場合や、電波状況の劣化等に伴い端末間直接通信が切断された場合は、ペアリングを解除する。
Here, the terminal-to-terminal direct
ステップS306において、ネットワーク通信制御部451は、端末装置400aとのペアリングを解除したことをインセンティブ管理サーバ500に通知する。
In step S306, the network
一方、ステップS307において、再生処理部455は、配信サーバ200からネットワーク300経由で取得した基本階層データBと、端末装置400aから端末間直接通信により取得した補強階層データEとを復号する。
On the other hand, in step S307, the
ステップS308において、再生処理部455は、復号した基本階層データB及び補強階層データEの映像ストリームを合成し、1つの映像ストリームに変換する。
In step S308, the
ステップS309において、再生処理部455は、映像ストリームを再生する。
In step S309, the
(第1実施形態のまとめ)
第1実施形態によれば、基本階層データBを低品質映像、補強階層データEを高品質映像のうち基本階層データ以外のデータとする階層符号化を用いている。そして、端末間直接通信の活用により、端末装置400aが配信サーバ200から取得した補強階層データEを端末装置400bに転送することにより、ネットワーク300の輻輳やキャッシュサーバの混雑に起因する利用可能帯域の低下の影響を抑制できる。また、基本階層データBを端末装置400bに配信することにより、端末間直接通信が不可になった場合においても、画質劣化は許容するものの端末装置400bでの映像の途切れを回避できる。
(Summary of the first embodiment)
According to the first embodiment, hierarchical coding is used in which the basic hierarchical data B is a low-quality video and the reinforcing hierarchical data E is high-quality video other than the basic hierarchical data. Then, by utilizing the direct communication between terminals, the
さらに、端末間直接通信を行う端末装置400aには通信コスト負担を補うに価するインセンティブを提供することで、不公平感を解消した。これにより、端末間直接通信を利用した映像配信サービスの使い勝手に関するユーザ満足度を向上させることができる。
Further, the feeling of unfairness was eliminated by providing an incentive worthy of compensating for the burden of communication costs for the
<第2実施形態>
次に、第2実施形態について、第1実施形態との相違点を主として説明する。
<Second Embodiment>
Next, the differences between the second embodiment and the first embodiment will be mainly described.
(ストリーミング配信システムの構成)
図9は、本実施形態に係るストリーミング配信システム1の構成を示す図である。
(Streaming distribution system configuration)
FIG. 9 is a diagram showing a configuration of a
図9に示すように、階層符号化器100は、基本階層データBと補強階層データE1と補強階層データE2とを配信サーバ200に出力する。本実施形態において、補強階層データE1は第1補強階層データに相当し、補強階層データE2は第2補強階層データに相当する。
As shown in FIG. 9, the
このように、本実施形態においては、互いに異なる2つの補強階層データE1及びE2を用いる。2つの補強階層データE1及びE2のそれぞれのデータ量は、例えば第1実施形態に係る補強階層データEの半分程度であってもよい。 As described above, in this embodiment, two reinforcement hierarchy data E1 and E2 that are different from each other are used. The amount of each of the two reinforcement hierarchy data E1 and E2 may be, for example, about half of the reinforcement hierarchy data E according to the first embodiment.
配信サーバ200は、基本階層データB及び補強階層データE1を端末装置400aに配信するとともに、基本階層データB及び補強階層データE2を端末装置400bに配信する。なお、本実施形態において、端末装置400bの利用可能帯域は、端末装置400aの利用可能帯域と同等であってもよい。
The
端末装置400aは、配信サーバ200から取得した補強階層データE1を端末間直接通信により端末装置400bに転送する。端末装置400bは、配信サーバ200から取得した補強階層データE2を端末間直接通信により端末装置400aに転送する。このように、本実施形態においては、端末装置400a及び400bは補強階層データの転送を双方向に行う。
The
端末装置400aは、配信サーバ200から取得した基本階層データB及び補強階層データE1と、端末装置400bから端末間直接通信により取得した補強階層データE2とを組み合わせて復号及び再生する。一方、端末装置400bは、配信サーバ200から取得した基本階層データB及び補強階層データE2と、端末装置400aから端末間直接通信により取得した補強階層データE1とを組み合わせて復号及び再生する。
The
(階層符号化の例)
次に、本実施形態に係る階層符号化の例について説明する。本実施形態において、階層符号化器100は、第1実施形態に係る補強階層データEを補強階層データE1及びE2に分離する(すなわち、E=E1+E2)。
(Example of hierarchical coding)
Next, an example of hierarchical coding according to this embodiment will be described. In the present embodiment, the
(1)時間階層符号化
図10は、時間階層符号化を用いた階層符号化の例を示す図である。
(1) Time Hierarchical Coding FIG. 10 is a diagram showing an example of hierarchical coding using time hierarchical coding.
図10に示すように、基本階層データBは、映像フレーム内の画素値のみを符号化するIフレームと、前方の映像フレームとの差分を符号化するPフレームとから構成される。基本階層データB内の、Iフレーム数とPフレーム数の割合は適宜変更して構わない。サンプル時刻kのデータを
B(k); k=5N, N:0又は自然数
と表記する。
As shown in FIG. 10, the basic hierarchical data B is composed of an I frame that encodes only the pixel values in the video frame and a P frame that encodes the difference from the preceding video frame. The ratio of the number of I frames to the number of P frames in the basic hierarchical data B may be changed as appropriate. The data at the sample time k is expressed as B (k); k = 5N, N: 0 or a natural number.
補強階層データEは、前方と後方の両映像フレームとの差分を符号化するBフレームから構成される。奇数サンプル時刻kのデータを
E1(k); k=5N+2M+1, N:0又は自然数,M:0又は1
と表記し、偶数サンプル時刻kのデータを
E2(k); k=5N+2M+2, N:0又は自然数,M:0又は1
と表記する。
The reinforcement layer data E is composed of a B frame that encodes the difference between both the front and rear video frames. Data of odd sample time k is E1 (k); k = 5N + 2M + 1, N: 0 or natural number, M: 0 or 1
The data of even sample time k is E2 (k); k = 5N + 2M + 2, N: 0 or natural number, M: 0 or 1
Notated as.
基本階層データB(k)のみを復号することで映像再生は可能であるが、補強階層データE1(k)やE2(k)を組み合わせて復号し、基本階層データB(k)と合成することで、より高いフレームレートの映像再生が可能となる。 Video reproduction is possible by decoding only the basic layer data B (k), but decoding by combining the reinforcing layer data E1 (k) and E2 (k) and synthesizing with the basic layer data B (k). This enables video playback at a higher frame rate.
なお、基本階層データB(k)と補強階層データE1(k)、E2(k)とを分離するサンプル時刻は前記の例に限らず、
B(k); k=7N, N:0又は自然数
E1(k); k=7N+2M+1, N:0又は自然数,M:0、1又は2
E2(k); k=7N+2M+2, N:0又は自然数,M:0、1又は2
等であっても構わない。
The sample time for separating the basic hierarchical data B (k) and the reinforcing hierarchical data E1 (k) and E2 (k) is not limited to the above example.
B (k); k = 7N, N: 0 or natural number E1 (k); k = 7N + 2M + 1, N: 0 or natural number, M: 0, 1 or 2
E2 (k); k = 7N + 2M + 2, N: 0 or natural number, M: 0, 1 or 2
Etc. may be used.
また、基本階層データB(k)がIフレームから構成され、補強階層データE1(k)、E2(k)がPフレームとBフレームから構成されるとしてもよい。 Further, the basic hierarchical data B (k) may be composed of an I frame, and the reinforcing hierarchical data E1 (k) and E2 (k) may be composed of a P frame and a B frame.
(2)空間階層符号化
図11は、空間階層符号化を用いた階層符号化の例を示す図である。基本階層データBは、映像データのうち水平周波数と垂直周波数共に低周波成分から構成される。補強階層データEの分離方法として図11(a)及び図11(b)の2例を示す。
(2) Spatial Hierarchical Coding FIG. 11 is a diagram showing an example of hierarchical coding using spatial hierarchical coding. The basic layer data B is composed of low frequency components in both the horizontal frequency and the vertical frequency of the video data. Two examples of FIG. 11A and FIG. 11B are shown as a method of separating the reinforcement hierarchy data E.
図11(a)に示す第1の例において、補強階層データE1は、基本階層データ以外の映像データのうち中周波成分の領域から構成される。補強階層データE2は、基本階層データ及び補強階層データE1以外の映像データの高周波成分の領域から構成される。 In the first example shown in FIG. 11A, the reinforcement layer data E1 is composed of a region of a medium frequency component in the video data other than the basic layer data. The reinforcement layer data E2 is composed of a region of high frequency components of video data other than the basic layer data and the reinforcement layer data E1.
図11(b)に示す第2の例において、補強階層データE1は、基本階層データ以外の映像データのうち垂直周波数の高周波成分の領域から構成される。補強階層データE2は、基本階層データ以外の映像データのうち水平周波数の高周波成分の領域から構成される。 In the second example shown in FIG. 11B, the reinforcement layer data E1 is composed of a region of a high frequency component having a vertical frequency in the video data other than the basic layer data. The reinforcing layer data E2 is composed of a region of a high frequency component of a horizontal frequency among video data other than the basic layer data.
基本階層データBのみを復号することで映像再生は可能であるが、補強階層データE1やE2を併せて復号し基本階層データBと合成することで、より高い周波数成分のデータを持つ映像再生が可能となる。 Video reproduction is possible by decoding only the basic layer data B, but by decoding the reinforcement layer data E1 and E2 together and synthesizing with the basic layer data B, video reproduction with higher frequency component data can be performed. It will be possible.
図11(b)に示す第2の例は、図11(a)に示す第1の例よりも次の点で優れている。具体的には、図11(a)に示す第1の例において、基本階層データBと補強階層データE2とを復号及び再生する場合、中間の周波数の補強階層データE1が抜けているため、不自然な絵柄になる。一方、図11(b)に示す第2の例によれば、そのような不具合を抑制できる。 The second example shown in FIG. 11B is superior to the first example shown in FIG. 11A in the following points. Specifically, in the first example shown in FIG. 11A, when the basic layer data B and the reinforcement layer data E2 are decoded and reproduced, the reinforcement layer data E1 having an intermediate frequency is missing, so that it is not possible. It becomes a natural pattern. On the other hand, according to the second example shown in FIG. 11B, such a defect can be suppressed.
なお、基本階層データBと、補強階層データE1と、補強階層データE2とを分離する閾値となる周波数は適宜変更して構わない。また、補強階層データEの分離方法は図11(a)及び図11(b)に示す方法以外でもよい。 The frequency that serves as the threshold value for separating the basic hierarchical data B, the reinforcing hierarchical data E1, and the reinforcing hierarchical data E2 may be appropriately changed. Further, the method of separating the reinforcement layer data E may be other than the methods shown in FIGS. 11 (a) and 11 (b).
(3)SNR階層符号化
図12は、SNR階層符号化を用いた階層符号化の例を示す図である。基本階層データBは、映像データの画素値のうち最上位ビットに近いビットから構成される。補強階層データEの分離方法として図12(a)及び図12(b)の2例を示す。
(3) SNR hierarchical coding FIG. 12 is a diagram showing an example of hierarchical coding using SNR hierarchical coding. The basic layer data B is composed of bits close to the most significant bit among the pixel values of the video data. Two examples of FIG. 12A and FIG. 12B are shown as a method of separating the reinforcement layer data E.
図12(a)に示す第1の例において、補強階層データE1は、基本階層データを構成する画素値のビット以外のうち上位のビットから構成される。補強階層データE2は、基本階層データ及び補強階層データE1を構成する画素値のビット以外の最下位のビットに近いビットから構成される。 In the first example shown in FIG. 12A, the reinforcement layer data E1 is composed of higher-order bits other than the pixels of the pixel values constituting the basic layer data. The reinforcement layer data E2 is composed of bits close to the lowest bit other than the bits of the pixel values constituting the basic layer data and the reinforcement layer data E1.
図12(b)に示す第2の例において、補強階層データE1は、基本階層データを構成する画素値のビット以外のうち低周波数成分の領域から構成される。補強階層データE2は、基本階層データを構成する画素値のビット以外のうち高周波成分の領域から構成される。 In the second example shown in FIG. 12B, the reinforcement layer data E1 is composed of a region of a low frequency component other than the bit of the pixel value constituting the basic layer data. The reinforcement layer data E2 is composed of a region of high frequency components other than the bits of the pixel values constituting the basic layer data.
基本階層データBのみを復号することで映像再生は可能であるが、補強階層データE1やE2を組み合わせて復号し、基本階層データBと合成することで、より高い量子化の精度のデータを持つ映像再生が可能となる。 Video reproduction is possible by decoding only the basic layer data B, but by combining and decoding the reinforcing layer data E1 and E2 and synthesizing with the basic layer data B, it has data with higher quantization accuracy. Video playback is possible.
図12(b)に示す第2の例は、図12(a)に示す第1の例よりも次の点で優れている。具体的には、図12(a)に示す第1の例において、基本階層データBと補強階層データE2とを復号及び再生する場合、中間のビットの補強階層データE1が抜けているため、不自然な絵柄になる。一方、図12(b)に示す第2の例によれば、そのような不具合を抑制できる。 The second example shown in FIG. 12 (b) is superior to the first example shown in FIG. 12 (a) in the following points. Specifically, in the first example shown in FIG. 12A, when the basic layer data B and the reinforcement layer data E2 are decoded and reproduced, the reinforcement layer data E1 of the intermediate bit is missing, so that it is not possible. It becomes a natural pattern. On the other hand, according to the second example shown in FIG. 12B, such a defect can be suppressed.
なお、基本階層データBと、補強階層データE1と、補強階層データE2とを分離する閾値となるビット数は適宜変更して構わない。また、補強階層データEの分離方法は図12(a)及び図12(b)に示す方法以外でもよい。 The number of bits serving as a threshold for separating the basic layer data B, the reinforcement layer data E1, and the reinforcement layer data E2 may be appropriately changed. Further, the method of separating the reinforcement layer data E may be other than the methods shown in FIGS. 12 (a) and 12 (b).
(端末装置の構成)
次に、本実施形態に係る端末装置400の構成について説明する。図13は、本実施形態に係る端末装置400の構成を示す図である。
(Configuration of terminal device)
Next, the configuration of the
図13に示すように、本実施形態に係る端末装置400において、ストリーム取得部453は、基本階層データBと補強階層データE1と補強階層データE2とを取得する。具体的には、ストリーム取得部453は、基本階層データ取得部453aと、第1補強階層データ取得部453bと、第2補強階層データ取得部453cとを有する。
As shown in FIG. 13, in the
基本階層データ取得部453aは、ネットワーク通信インターフェース部410を介して、配信サーバ200から基本階層データBを取得する。
The basic layer
第1補強階層データ取得部453bは、端末装置400が図9に示す端末装置400aである場合、ネットワーク通信インターフェース部410を介して、配信サーバ200から補強階層データE1を取得する。
When the
一方、端末装置400が図9に示す端末装置400bである場合、第1補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して、端末装置400aから補強階層データE2を取得する。
On the other hand, when the
第2補強階層データ取得部453cは、端末装置400が図9に示す端末装置400aである場合、端末間直接通信インターフェース部420を介して、端末装置400bから補強階層データE2を取得する。
When the
一方、端末装置400が図9に示す端末装置400bである場合、第2補強階層データ取得部453cは、ネットワーク通信インターフェース部410を介して、配信サーバ200から補強階層データE2を取得する。
On the other hand, when the
本実施形態において、補強階層データ転送部454は、図9に示す端末装置400a及び400bの双方に設けられる。
In the present embodiment, the reinforcement layer
補強階層データ転送部454は、端末装置400が図9に示す端末装置400aである場合、第1補強階層データ取得部453bが取得した補強階層データE1を、端末間直接通信インターフェース部420を介して端末装置400bに転送する。
When the
一方、端末装置400が図9に示す端末装置400bである場合、補強階層データ転送部454は、第2補強階層データ取得部453cが取得した補強階層データE2を、端末間直接通信インターフェース部420を介して端末装置400aに転送する。
On the other hand, when the
再生処理部455は、基本階層データ取得部453aが取得した基本階層データBと第1補強階層データ取得部453bが取得した補強階層データE1と第2補強階層データ取得部453cが取得した補強階層データE2とを組み合わせて復号及び再生する。
The
端末装置400が図9に示す端末装置400aである場合、第2補強階層データ取得部453cは、端末間直接通信インターフェース部420を介して端末装置400bから補強階層データE2を取得できない場合がある。端末装置400aにおいて、再生処理部455は、端末間直接通信が不可になった場合、基本階層データB及び補強階層データE1を組み合わせて復号及び再生する。
When the
端末装置400が図9に示す端末装置400bである場合、第1補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して端末装置400aから補強階層データE1を取得できない場合がある。端末装置400bにおいて、再生処理部455は、端末間直接通信が不可になった場合、基本階層データB及び補強階層データE2を組み合わせて復号及び再生する。
When the
なお、本実施形態におけるストリーミング配信システム1の動作については、第1実施形態に係る片方向の補強階層データ転送を双方向で行えばよく、基本的な動作については第1実施形態と同様である。
Regarding the operation of the
(第2実施形態のまとめ)
第2実施形態によれば、端末装置400aが基本階層データB及び補強階層データE1を配信サーバ200から取得するため、第1実施形態に比べて、端末装置400aがネットワーク300経由で取得すべきデータ量の削減を図り、端末装置400a及び400b間の不公平感を解消できる。
(Summary of the second embodiment)
According to the second embodiment, since the
また、端末装置400bが補強階層データE2を配信サーバ200から取得しているため、端末間直接通信が不可になった場合であっても、端末装置400bは、第1実施形態に比べて高画質な映像を再生可能である。
Further, since the
<その他の実施形態>
上述した実施形態において、基本階層データ及び補強階層データのそれぞれが映像データである一例について説明した。しかしながら、基本階層データを音声データとし、補強階層データを映像と音声の両方を持つ映像データとしてもよい。
<Other Embodiments>
In the above-described embodiment, an example in which each of the basic hierarchical data and the reinforcing hierarchical data is video data has been described. However, the basic hierarchical data may be audio data, and the reinforcing hierarchical data may be video data having both video and audio.
上述した第1及び第2実施形態を使い分けてもよい。例えば、インセンティブ管理サーバ500は、端末装置400a及び400bのそれぞれの利用可能帯域に基づいて、第1実施形態に係る動作と第2実施形態に係る動作とを切り替えて用いてもよい。
The first and second embodiments described above may be used properly. For example, the
端末装置400が行う各処理をコンピュータに実行させるプログラム及びインセンティブ管理サーバ500が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。コンピュータは、プログラムに従って演算処理を行うものであればどのようなものであってもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD−ROMやDVD−ROM等の記録媒体であってもよい。
A program for causing the computer to execute each process performed by the
また、端末装置400が行う各処理を実行する機能部(回路)を集積化し、端末装置400を半導体集積回路(チップセット、SoC)として構成してもよい。
Further, the functional unit (circuit) for executing each process performed by the
以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 Although one embodiment has been described in detail with reference to the drawings above, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the gist. ..
1 :ストリーミング配信システム
100 :階層符号化器
200 :配信サーバ
300 :ネットワーク
400 :端末装置
410 :ネットワーク通信インターフェース部
420 :端末間直接通信インターフェース部
430 :ユーザインターフェース部
440 :記憶部
450 :処理部
451 :ネットワーク通信制御部
452 :端末間直接通信制御部
453 :ストリーム取得部
453a :基本階層データ取得部
453b :補強階層データ取得部(第1補強階層データ取得部)
453c :第2補強階層データ取得部
454 :補強階層データ転送部
455 :再生処理部
455a :階層復号部
455b :再生部
500 :インセンティブ管理サーバ
510 :ネットワーク通信インターフェース部
520 :記憶部
530 :処理部
531 :ペアリング管理部
532 :データ転送管理部
533 :インセンティブ決定部
1: Streaming distribution system 100: Hierarchical encoder 200: Distribution server 300: Network 400: Terminal device 410: Network communication interface unit 420: Direct communication interface unit between terminals 430: User interface unit 440: Storage unit 450: Processing unit 451 : Network communication control unit 452: Direct communication control unit between terminals 453:
453c: Second reinforcement layer data acquisition unit 454: Reinforcement layer data transfer unit 455:
Claims (8)
階層符号化を用いたストリーミング配信を行う配信サーバとの通信により、前記配信サーバから基本階層データを取得する基本階層データ取得部と、
前記配信サーバと通信する他の端末装置との端末間直接通信により、前記他の端末装置から転送される第1補強階層データを取得する第1補強階層データ取得部と、
前記配信サーバから取得される前記基本階層データと前記他の端末装置から取得される前記第1補強階層データとを組み合わせて復号及び再生する再生処理部と、を備えることを特徴とする端末装置。 A terminal device used in a streaming distribution system.
A basic layer data acquisition unit that acquires basic layer data from the distribution server by communicating with a distribution server that performs streaming distribution using layer coding.
A first reinforcement layer data acquisition unit that acquires first reinforcement layer data transferred from the other terminal device by direct communication between terminals with another terminal device communicating with the distribution server.
A terminal device comprising: a reproduction processing unit for decoding and reproducing the basic hierarchical data acquired from the distribution server and the first reinforcing hierarchical data acquired from the other terminal apparatus in combination.
前記第2補強階層データを前記端末間直接通信により前記他の端末装置に転送する補強階層データ転送部と、をさらに備え、
前記再生処理部は、前記配信サーバから取得される前記基本階層データと前記他の端末装置から取得される前記第1補強階層データと前記配信サーバから取得される前記第2補強階層データとを組み合わせて復号及び再生することを特徴とする請求項1に記載の端末装置。 A second reinforcement layer data acquisition unit that acquires second reinforcement layer data from the distribution server by communicating with the distribution server, and
It further includes a reinforcement layer data transfer unit that transfers the second reinforcement layer data to the other terminal device by direct communication between the terminals.
The reproduction processing unit combines the basic hierarchical data acquired from the distribution server, the first reinforcing hierarchical data acquired from the other terminal device, and the second reinforcing hierarchical data acquired from the distribution server. The terminal device according to claim 1, wherein the terminal device is decrypted and reproduced.
前記第1補強階層データ及び前記第2補強階層データのうち一方は、前記基本階層データ以外の前記映像データのうち垂直周波数の高周波成分の領域から構成されるデータであり、
前記第1補強階層データ及び前記第2補強階層データのうち他方は、前記基本階層データ以外の前記映像データのうち水平周波数の高周波成分の領域から構成されるデータであることを特徴とする請求項3又は4に記載の端末装置。 The basic hierarchical data is data composed of low frequency components in both horizontal and vertical frequencies among video data.
One of the first reinforcement layer data and the second reinforcement layer data is data composed of a region of a high frequency component of a vertical frequency among the video data other than the basic layer data.
The other of the first reinforcement layer data and the second reinforcement layer data is data composed of a region of a high frequency component of a horizontal frequency among the video data other than the basic layer data. The terminal device according to 3 or 4.
前記第1補強階層データ及び前記第2補強階層データのうち一方は、前記基本階層データを構成する各画素値のビット以外のうち低周波数成分の領域から構成されるデータであり、
前記第1補強階層データ及び前記第2補強階層データのうち他方は、前記基本階層データを構成する各画素値のビット以外のうち高周波成分の領域から構成されるデータであることを特徴とする請求項3又は4に記載の端末装置。 The basic layer data is data composed of bits close to the most significant bit of each pixel value of the video data.
One of the first reinforcement layer data and the second reinforcement layer data is data composed of a region of a low frequency component other than the bits of each pixel value constituting the basic layer data.
The other of the first reinforcement layer data and the second reinforcement layer data is data composed of a region of a high frequency component other than the bits of each pixel value constituting the basic layer data. Item 3. The terminal device according to item 3.
インセンティブ管理サーバと、を備え、
前記インセンティブ管理サーバは、
前記他の端末装置から前記端末装置への前記第1補強階層データの転送状況に基づいて、前記他の端末装置に対して付与するインセンティブを決定するインセンティブ決定部を有することを特徴とするストリーミング配信システム。 The terminal device according to any one of claims 1 to 6 and the other terminal device.
Equipped with an incentive management server
The incentive management server
Streaming distribution characterized by having an incentive determination unit that determines an incentive to be given to the other terminal device based on the transfer status of the first reinforcement layer data from the other terminal device to the terminal device. system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019078705A JP7235576B2 (en) | 2019-04-17 | 2019-04-17 | Terminal device, streaming distribution system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019078705A JP7235576B2 (en) | 2019-04-17 | 2019-04-17 | Terminal device, streaming distribution system, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020178216A true JP2020178216A (en) | 2020-10-29 |
JP7235576B2 JP7235576B2 (en) | 2023-03-08 |
Family
ID=72936555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019078705A Active JP7235576B2 (en) | 2019-04-17 | 2019-04-17 | Terminal device, streaming distribution system, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7235576B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005122577A1 (en) * | 2004-06-14 | 2005-12-22 | Matsushita Electric Industrial Co., Ltd. | Content use method and content recording device |
CN101720041A (en) * | 2009-11-23 | 2010-06-02 | 杭州华三通信技术有限公司 | Hierarchical coding-based data processing method |
JP2012095053A (en) * | 2010-10-26 | 2012-05-17 | Toshiba Corp | Stream transmission system, transmitter, receiver, stream transmission method, and program |
JP2016127328A (en) * | 2014-12-26 | 2016-07-11 | 株式会社東芝 | Electronic apparatus and signal processing method |
WO2018029471A1 (en) * | 2016-08-09 | 2018-02-15 | V-Nova Limited | Adaptive content delivery network |
CN109618188A (en) * | 2018-12-19 | 2019-04-12 | 北京东土科技股份有限公司 | Coding, retransmission method, device, equipment and the storage medium of video data |
-
2019
- 2019-04-17 JP JP2019078705A patent/JP7235576B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005122577A1 (en) * | 2004-06-14 | 2005-12-22 | Matsushita Electric Industrial Co., Ltd. | Content use method and content recording device |
CN101720041A (en) * | 2009-11-23 | 2010-06-02 | 杭州华三通信技术有限公司 | Hierarchical coding-based data processing method |
JP2012095053A (en) * | 2010-10-26 | 2012-05-17 | Toshiba Corp | Stream transmission system, transmitter, receiver, stream transmission method, and program |
JP2016127328A (en) * | 2014-12-26 | 2016-07-11 | 株式会社東芝 | Electronic apparatus and signal processing method |
WO2018029471A1 (en) * | 2016-08-09 | 2018-02-15 | V-Nova Limited | Adaptive content delivery network |
CN109618188A (en) * | 2018-12-19 | 2019-04-12 | 北京东土科技股份有限公司 | Coding, retransmission method, device, equipment and the storage medium of video data |
Also Published As
Publication number | Publication date |
---|---|
JP7235576B2 (en) | 2023-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6636122B2 (en) | Decoding device and decoding method | |
TWI610564B (en) | Static frame image quality improvement for sink displays | |
JP5830496B2 (en) | Display controller and screen transfer device | |
US20190215534A1 (en) | Image processing apparatus and image processing method | |
US10951914B2 (en) | Reliable large group of pictures (GOP) file streaming to wireless displays | |
CN109891850A (en) | Method and apparatus for reducing the delay of 360 degree of vision area adaptive stream medias | |
JPWO2018037737A1 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
US7961192B2 (en) | Multi-graphics processor system and method for processing content communicated over a network for display purposes | |
CN112887739A (en) | Electronic device, system and control method thereof | |
CN112868229A (en) | Method and apparatus for streaming data | |
US10298927B2 (en) | Image decoding device and method | |
US10708667B1 (en) | Combining fragments with different encodings | |
US20200374532A1 (en) | Switchable chroma sampling for wireless display | |
Laghari et al. | The state of art and review on video streaming | |
US7969443B2 (en) | System and method for dynamically processing content being communicated over a network for display purposes | |
JP7235576B2 (en) | Terminal device, streaming distribution system, and program | |
JP2014131142A (en) | Receiver, reception method and program, imaging apparatus, imaging method and program, transmitter, transmission method and program | |
US11409415B1 (en) | Frame interpolation for media streaming | |
KR101830882B1 (en) | Method and apparatus for generating control packet | |
US10298651B2 (en) | Encoding device, decoding device, computer program product, and streaming system | |
JP2007123984A (en) | Content distribution system, stream transmission apparatus, receiving apparatus, and content distribution method | |
JP6400163B2 (en) | Reception device, reception method, transmission device, transmission method, and program | |
JP2005045297A (en) | Camera system and camera apparatus | |
JP2014103534A (en) | Image transmission device | |
US10135896B1 (en) | Systems and methods providing metadata for media streaming |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220311 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7235576 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |