JP2021013049A - データ送信装置、データ送信システム、及び、データ送信方法 - Google Patents
データ送信装置、データ送信システム、及び、データ送信方法 Download PDFInfo
- Publication number
- JP2021013049A JP2021013049A JP2019124562A JP2019124562A JP2021013049A JP 2021013049 A JP2021013049 A JP 2021013049A JP 2019124562 A JP2019124562 A JP 2019124562A JP 2019124562 A JP2019124562 A JP 2019124562A JP 2021013049 A JP2021013049 A JP 2021013049A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image frame
- amount
- multiplexed
- per unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】無線通信におけるストリームデータの欠落を抑止する。【解決手段】データ送信装置は、第1画像フレーム及び第2画像フレームを受信する受信部101と、第1画像フレーム及び第2画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第1閾値未満である場合、第1画像フレーム及び第2画像フレームを多重して多重化データを生成し、第1画像フレーム及び第2画像フレームの両方の単位時間当たりのデータ量が、予め定められた第1閾値以上である場合、第2画像フレームの多重のタイミングを遅延させて多重化データを生成し、多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成する制御部102と、ストリームデータを送信する送信部103とを備える。【選択図】図2
Description
本開示は、データ送信装置、データ送信システム、及び、データ送信方法に関する。
サーバが、無線通信を通じて動画データをストリーミング配信し、端末が、サーバからストリーミング配信された動画データを、ほぼリアルタイムに受信及び再生するシステムが知られている。無線通信の途中に生じ得るデータ誤りを端末が訂正できるように、サーバは、ストリームデータに対してFEC(Forward Error Correction)のような誤り訂正符号化の処理を行う。特許文献1には、誤り訂正符号化の処理単位のデータ量を大きく設定することにより、誤り訂正能力を向上させる技術が開示されている。
誤り訂正符号化は、無線通信の途中で欠落したデータを補償できるものの、他の要因によってもデータの欠落は生じ得る。例えば、ストリームデータのビットレートが、無線通信の最大通信速度を超える場合もデータの欠落が生じ得る。一方、特許文献1に示すように誤り訂正符号化の処理単位のデータ量を大きく設定した場合、誤り訂正能力は向上するものの、処理単位のデータ量が蓄積されるまで誤り訂正符号化の処理を開始できないため、ストリームデータの送信開始が遅延してしまう。
本開示の非限定的な実施例は、無線通信におけるストリームデータの欠落を抑止し、また、ストリームデータの送信開始の遅延を低減する技術の提供に資する。
本開示の一態様に係るデータ送信装置は、第1画像フレーム及び第2画像フレームを受信する受信部と、前記第1画像フレーム及び前記第2画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第1閾値未満である場合、前記第1画像フレーム及び前記第2画像フレームを多重して多重化データを生成し、前記第1画像フレーム及び前記第2画像フレームの両方の単位時間当たりのデータ量が、予め定められた第1閾値以上である場合、前記第2画像フレームの多重のタイミングを遅延させて多重化データを生成し、前記多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成する制御部と、前記ストリームデータを送信する送信部と、を備える。
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、ストリームデータの欠落を抑制し、また、ストリームデータ送信開始の遅延を低減できる。
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(一実施の形態)
<システム構成>
図1は、データ送信システムの構成例を示す。データ送信システム1は、複数のカメラ装置10、データ送信装置100、及び、無線通信装置20を有する。
<システム構成>
図1は、データ送信システムの構成例を示す。データ送信システム1は、複数のカメラ装置10、データ送信装置100、及び、無線通信装置20を有する。
複数のカメラ装置10は、通信ネットワークN1を通じて、データ送信装置100に接続する。通信ネットワークN1は、例えば、Ethernet規格に基づいて構成される有線LAN(Local Area Network)、又は、IEEE802.11a/b/g/n/ac/ad等の規格に基づいて構成される無線LANである。データ送信装置100は、通信ネットワークN2を通じて、無線通信装置20に接続する。通信ネットワークN2は、例えば、Ethernet規格等の有線LAN、又は、IEEE802.11a/b/g/n/ac/ad等の規格に基づいて構成される無線LANである。また、通信ネットワークN1および通信ネットワークN2は、LANに限られるものではなく、複数のLANを跨いだWAN(Wide Area Network)等のより広域のネットワークであっても構わない。
カメラ装置10は、撮影した画像から、複数の画像フレームによって構成される動画データを生成し、その生成した動画データを、通信ネットワークN1を通じて、ストリーミング送信する。例えば、カメラ装置10は、動画データを構成する画像フレームを順次送信する。カメラ装置10は、例えば、4Kリモートビデオカメラである。
動画データは、例えば、H.264コーデックに基づいて構成される。この場合、動画データは、複数の画像フレームから構成される。画像フレームは、基準画像フレーム(例えばIピクチャフレーム)と、基準画像フレームに対する差分画像フレーム(例えばPピクチャフレーム及び/又はBピクチャフレーム)とに分類される。基準画像フレームのデータ量は、差分画像フレームよりも大きい。基準画像フレームとその基準画像フレームに対する差分画像フレームとによって構成される単位グループは、GOP(Group Of Picture)と呼ばれる。なお、動画データのコーデックは、基準画像フレームと差分画像フレームとの組み合わせを用いるコーデックであればよく、H.264に限られない。例えば、MPEG−1、MPEG−2、MPEG−4、H.261、H.263、又は、H.265等であってもよい。
データ送信装置100は、各カメラ装置10から、動画データを受信する。例えば、データ送信装置100は、各カメラ装置10から、動画データを構成する画像フレームを順次受信する。データ送信装置100は、各カメラ装置10から受信した画像フレームを時間多重して、1つの多重化データを生成する。データ送信装置100は、多重化データが誤り訂正符号化の処理単位分蓄積された場合、その蓄積されたデータに対して誤り訂正符号化の処理を行い、ストリームデータを生成する。データ送信装置100は、ストリームデータを、無線通信装置20へ送信する。なお、データ送信装置100の詳細については後述する。
無線通信装置20は、例えば、IEEE802.11a/b/g/n/ac/ad等の規格に基づく無線LAN(通信ネットワークN2)を構成する。無線通信装置20は、データ送信装置100から、ストリームデータを受信する。無線通信装置20は、通信ネットワークN2を通じて、ストリームデータを、マルチキャストにて各端末200へ送信する。無線通信装置20は、アクセスポイント、無線ルータ、及び、無線基地局といった他の用語に読み替えられてもよい。
端末200は、通信ネットワークN2を通じて、無線通信装置20からマルチキャストにて送信されたストリームデータを受信する。端末200は、受信したストリームデータに対して誤り訂正復号の処理を行い、多重化データを抽出する。端末200は、多重化データから1つの動画データを抽出する。端末200は、抽出した動画データを再生し、画面に表示する。端末200は、例えば、PC、携帯電話、タブレット端末、テレビ端末等であってよい。なお、端末200が複数の画面でストリームデータを再生する機能を持つ場合には、多重化データから複数の動画データを抽出してもよい。
<データ送信装置の構成>
図2は、データ送信装置100の構成例を示す。データ送信装置100は、受信部101、制御部102、及び、送信部103を有する。制御部102は、遅延多重判定部111、多重化部112、レート検出部113、データ付加部114、及び、誤り訂正符号化部115を有する。
図2は、データ送信装置100の構成例を示す。データ送信装置100は、受信部101、制御部102、及び、送信部103を有する。制御部102は、遅延多重判定部111、多重化部112、レート検出部113、データ付加部114、及び、誤り訂正符号化部115を有する。
受信部101は、各カメラ装置10から動画データ(画像フレーム)を順次受信し、受信した各動画データ(画像フレーム)を多重化部112へ送信する。
遅延多重判定部111は、受信部101から多重化部112へ送信される各画像フレームのデータ量に基づいて、多重化部112における複数の画像フレームの時間多重において、少なくとも1つの画像フレームの多重タイミングを遅延させるか否かを判定する。例えば、遅延多重判定部111は、受信部101から多重化部112に対して、予め定められた第1閾値以上のデータ量の第1画像フレーム及び第2画像フレームが送信された場合、第2画像フレームの多重タイミングを遅延させると判定する。遅延多重判定部111は、少なくとも1つの画像フレームの多重タイミングを遅延させると判定した場合、多重タイミングの遅延の指示(以下「遅延多重指示」という)を、多重化部へ送信する。なお、遅延多重判定部111の詳細については後述する。
多重化部112は、受信部101から受信した、各カメラ装置10からの画像フレームを時間多重し、1つの多重化データを生成する。このとき、多重化部112は、遅延多重判定部111から遅延多重指示を受信した場合、少なくとも1つの画像フレーム(例えば第2画像フレーム)の多重タイミングを遅延させる。多重化部112は、生成した多重化データを、データ付加部114へ送信する。なお、多重化部112の詳細については後述する。
レート検出部113は、多重化データのデータ量を検出し、その検出した多重化データのデータ量をデータ付加部114へ送信する。例えば、レート検出部113は、多重化データの単位時間当たりのデータ量(例えばビットレート)を検出し、データ付加部114へ送信する。
データ付加部114は、レート検出部113から受信した多重化データのデータ量に基づいて、多重化データに付加するダミーデータのデータ量を決定する。データ付加部114は、多重化部112から受信した多重化データに、その決定したデータ量のダミーデータを付加する。データ付加部114は、ダミーデータ付きの多重化データを、誤り訂正符号化部115へ送信する。なお、データ付加部114の詳細については後述する。
誤り訂正符号化部115は、データ付加部114から受信したダミーデータ付きの多重化データに対して誤り訂正符号化の処理を行い、ストリームデータを生成する。例えば、誤り訂正符号化部115は、ダミーデータ付きの多重化データが、誤り訂正符号化の処理単位分蓄積された場合、その蓄積されたデータ(データブロック)に対して誤り訂正符号化の処理を行い、ストリームデータを生成する。誤り訂正符号化の処理は、例えば、LDPC(Low-Density Parity-Check)を用いたAL(Application Layer)−FECに基づく処理である。この場合、誤り訂正符号化の処理において、データブロックに対して誤り訂正用の冗長データが付加される。つまり、ストリームデータのビットレートは、多重化データのビットレートよりも大きい。誤り訂正符号化部115は、ストリームデータを送信部103へ送信する。なお、誤り訂正符号化の処理単位のサイズ(つまりデータブロックのサイズ)は、求められる誤り訂正能力に応じて任意に設定されてもよい。
送信部103は、誤り訂正符号化部115から受信したストリームデータを、無線通信装置20へ送信する。
<端末の構成>
図3は、端末200の構成例を示す。端末200は、受信部201、及び、制御部202を有する。制御部202は、誤り訂正復号部211、逆多重化部212、動画データ選択部213、及び、再生部214を有する。
図3は、端末200の構成例を示す。端末200は、受信部201、及び、制御部202を有する。制御部202は、誤り訂正復号部211、逆多重化部212、動画データ選択部213、及び、再生部214を有する。
受信部201は、通信ネットワークN2を通じて、無線通信装置20から、ストリームデータを受信する。受信部201は、受信したストリームデータを誤り訂正復号部211へ送信する。
誤り訂正復号部211は、受信部201から受信したストリームデータに対して誤り訂正復号の処理を行い、誤り訂正された多重化データを抽出する。誤り訂正復号の処理は、上述した誤り訂正符号化の処理と同様、LDPCを用いたAL−FECに基づく処理であってよい。誤り訂正復号部211は、抽出した多重化データを逆多重化部212へ送信する。
逆多重化部212は、誤り訂正復号部211から受信した多重化データから複数の動画データを抽出する。逆多重化部212は、抽出した複数の動画データを動画データ選択部213へ送信する。
動画データ選択部213は、例えば、端末200のユーザからの指示に基づいて、逆多重化部212から受信した複数の動画データのうちの1つを選択する。動画データ選択部213は、選択した1つの動画データを再生部214へ送信する。
再生部214は、動画データ選択部213から受信した動画データを再生する。例えば、動画データがH.264コーデックの場合、H.264コーデックに基づくデコード処理を行う。再生部214は、再生した動画データを、例えば、端末200の画面に表示する。
<遅延多重判定部及び多重化部の詳細>
図4及び図5を参照して、遅延多重判定部111及び多重化部112の詳細について説明する。図4は、各カメラ装置10から受信した基準画像フレームをそのまま多重する場合の例を示す。図5は、各カメラ装置10から受信した基準画像フレームの一部を遅延多重する場合の例を示す。なお、図4及び図5に示すグラフにおいて、横軸は時間を示し、縦軸はデータ量を示し、黒色の棒グラフは基準画像フレームの単位時間当たりデータ量を示し、白色の棒グラフは差分画像フレームの単位時間当たりデータ量を示す。これは、他の図面においても同様である。単位時間当たりのデータ量は、例えば、ビットレートである。
図4及び図5を参照して、遅延多重判定部111及び多重化部112の詳細について説明する。図4は、各カメラ装置10から受信した基準画像フレームをそのまま多重する場合の例を示す。図5は、各カメラ装置10から受信した基準画像フレームの一部を遅延多重する場合の例を示す。なお、図4及び図5に示すグラフにおいて、横軸は時間を示し、縦軸はデータ量を示し、黒色の棒グラフは基準画像フレームの単位時間当たりデータ量を示し、白色の棒グラフは差分画像フレームの単位時間当たりデータ量を示す。これは、他の図面においても同様である。単位時間当たりのデータ量は、例えば、ビットレートである。
上述したように、基準画像フレームの単位時間当たりのデータ量は、差分画像フレームよりも大きい。よって、図4に示すように、各カメラ装置10から同じタイミングで基準画像フレームを受信した場合、それら複数の基準画像フレームをそのまま多重して多重化データを生成すると、多重化データの単位時間当たりのデータ量が非常に大きくなってしまう。そして、この多重化データには、上述した通り、誤り訂正符号化部115において冗長データが付加されるので、ストリームデータの単位時間当たりのデータ量はさらに大きくなってしまう。ストリームデータの単位時間当たりのデータ量(例えばビットレート)が無線通信装置20の単位時間当たりに送信可能なデータ量(例えばビットレート)を超える場合、ストリームデータの無線通信において欠落(ロスト)が生じ得るため、好ましくない。なお、本説明では、無線通信装置20の単位時間当たりに送信可能なデータ量を、最大通信速度と表記する場合がある。
そこで、遅延多重判定部111は、図5に示すように、多重化データの単位時間当たりのデータ量が非常に大きくなることを回避するための多重遅延処理を多重化部112に実行させるか否かを判定する。例えば、遅延多重判定部111は、次の(A1)、(A2)又は(A3)の判定を行う。
(A1)遅延多重判定部111は、受信部101から多重化部112に対して送信された複数の画像フレームのうち、2つの画像フレーム(第1画像フレーム及び第2画像フレーム)が、それぞれ、単位時間当たりのデータ量が所定の第1閾値以上である場合、多重化部112に対して多重遅延指示を送信する。多重化部112は、この多重遅延指示を受信した場合、第1画像フレーム及び第2画像フレームのうちの何れか一方(例えば第2画像フレーム)の多重タイミングを遅延させる。これにより、1つの多重化データ(1回の多重タイミング)に、単位時間当たりのデータ量が第1閾値以上の画像フレームが2つ以上多重されることを回避できる。よって、多重化データの単位時間当たりのデータ量が非常に大きくなることを回避できる。
(A2)遅延多重判定部111は、受信部101から多重化部112に対して同じタイミングに2つ以上の基準画像フレームが送信された場合、多重化部112に対して多重遅延指示を送信する。多重化部112は、この多重遅延指示を受信した場合、受信部101から受信した2つ以上の基準画像フレームのうち、1つの基準画像フレームを多重し、他の基準画像フレームの多重タイミングを遅延させる。これにより、1つの多重化データ(1回の多重タイミング)に、2以上の基準画像データが多重されることを回避できる。よって、多重化データの単位時間当たりのデータ量が非常に大きくなることを回避できる。なお、「同じタイミングに2つ以上の画像フレームを受信する」とは、同時刻に2つ以上の画像フレームを受信する意味ではなく、同じ期間内に2つ以上の画像フレームを受信する意味である。
(A3)遅延多重判定部111は、受信部101から多重化部112に対して同じタイミングに2つ以上の基準画像フレームが送信され、かつ、それら基準画像フレームを仮に多重した場合の単位時間当たりのデータ量が所定の目標の単位時間当たりのデータ量(以下「目標データ量」という)以上となる場合、多重化部112に対して多重遅延指示を総インする。多重化部112は、この多重遅延指示を受信した場合、受信部101から受信した複数の基準画像フレームのうち、目標データ量を超過する分の数の基準画像フレームの多重タイミングを遅延させる。これにより、多重化データの単位時間当たりのデータ量が目標データ量以上となることを回避できる。
基準画像フレームの多重のタイミングを遅延させる方法は、次の(B1)又は(B2)の何れでもよい。
(B1)多重タイミングの遅延対象に選択された基準画像フレームを含む動画データについて、当該基準画像フレーム以降の画像フレームの多重タイミングを遅延させる。
(B2)多重タイミングの遅延対象に選択された基準画像フレームの多重タイミングを遅延させ、他の画像フレームの多重タイミングを維持する。この場合、当該基準画像フレームを含む動画データにおいて、画像フレームの順序が入れ替わる可能性がある。しかし、例えば、RTP(Real-time Transport Protocol)を用いることにより、端末200は、画像フレームの順序が判るので、正常に動画データを再生できる。
なお、遅延多重指示には、多重化部112が多重タイミングを遅延させることができる最大時間が含まれてよい。この最大時間は、基準画像フレームの送信間隔以下、或いは、GOP期間以下であってよい。これにより、多重タイミングの遅延対象の動画データが想定以上に遅延することを防止できる。
また、上述では、基準画像フレームを、多重タイミングを遅延させるトリガーとした場合の例を説明したが、多重タイミングを遅延させるトリガーは、基準画像フレームに限られない。例えば、単位時間当たりのデータ量が予め定められた第1閾値以上の画像フレームを、多重タイミングを遅延させるトリガーとしてもよい。この場合は、単位時間当たりのデータ量が第1閾値以上の画像フレームであれば、基準画像フレーム及び差分画像フレームの何れであってもよい。また、遅延多重判定部111は、第1閾値を、基準画像フレームの単位時間当たりのデータ量よりも小さく、かつ、差分画像フレームの単位時間当たりのデータ量よりも大きい値に設定することにより、受信した画像フレームが、基準画像フレーム又は差分画像フレームの何れであるかを判定してもよい。なお、基準画像フレームのデータ量は、統計的には差分画像フレームのデータ量よりも大きくなるが、撮影条件等によっては、基準画像フレームのデータ量が差分画像フレームのデータ量よりも小さくなることもあり得る。そのため、第1閾値を、基準画像フレームの単位時間当たりのデータ量よりも小さく、かつ、差分画像フレームの単位時間当たりのデータ量よりも大きい値に設定する場合には、基準画像フレーム及び差分画像フレームの単位時間当たりのデータ量に代えて、過去のデータ量の平均値等を使用してもよい。
<データ付加部の詳細>
図6を参照して、データ付加部114の詳細について説明する。図6は、多重化データに対してダミーデータを付加した例を示す。図6において、横線模様の棒グラフは、ダミーデータの単位時間当たりのデータ量を示す。
図6を参照して、データ付加部114の詳細について説明する。図6は、多重化データに対してダミーデータを付加した例を示す。図6において、横線模様の棒グラフは、ダミーデータの単位時間当たりのデータ量を示す。
上述したように、誤り訂正符号化部115は、処理単位のデータブロックに対して、誤り訂正符号化の処理を行う。データブロックのサイズを大きく設定すると、誤り訂正能力は向上するものの、データブロック分のデータが蓄積されるまでの時間が長くなる。よって、ストリームデータの送信開始の遅延が大きくなる。また、受信側の端末200においても処理単位のデータが蓄積されるまで誤り訂正符号の復号を開始できないため、復号結果を得るまでの時間がさらに遅延する原因の1つとなり、システム全体の伝送遅延につながる。反対に、データブロックのサイズを小さく設定すると、誤り訂正能力は低下するものの、データブロック分のデータが蓄積されるまでの時間が短くなる。よって、ストリームデータの送信開始の遅延は小さくなる。
そこで、データ付加部114は、多重化データの単位時間当たりのデータ量が、第2閾値の一例である目標データ量を超えない範囲で、目標データ量にできるだけ近づくように、多重化データにダミーデータを付加する。例えば、データ付加部114は、レート検出部113から受信した多重化データの単位時間当たりのデータ量から、目標データ量を超えない範囲で付加可能なダミーデータのデータ量を算出する。そして、データ付加部114は、多重化データに、その算出したデータ量のダミーデータを付加する。これにより、データ付加部114から送信される多重化データの単位時間当たりのデータ量が大きくなるので、誤り訂正符号化部115におけるデータブロックのサイズを大きく設定しても、短時間でデータブロック分のデータが蓄積される。これにより、高い誤り訂正能力と、ストリームデータの低遅延とを両立できる。また、ダミーデータのデータ量を、目標データ量を超えない範囲に制限することにより、ストリームデータのビットレートが無線通信装置20の最大通信速度を超えることを抑止できる。なお、最大通信速度は、通信帯域上限と読み替えられてもよい。
なお、ダミーデータのデータ量の算出方法は、上述に限られない。例えば、ダミーデータのデータ量は、次のように算出されてもよい。送信部103は、無線通信装置20へ送信するストリームデータの単位時間当たりのデータ量を監視して、監視した単位時間当たりのデータ量をデータ付加部114へフィードバックする。データ付加部114は、そのフィードバックされたストリームデータの単位時間当たりのデータ量と、過去の多重化データの単位時間当たりのデータ量とに基づき、多重化データがストリームデータに変換される際の単位時間当たりのデータ量の変動値を予測する。そして、データ付加部114は、その予測した変動値に基づいて、ストリームデータの単位時間当たりのデータ量が無線通信装置20の最大通信速度を超えない範囲で付加可能なダミーデータのデータ量を算出する。変動値の予測には、既存の技術が適用されてよい。例えば、RFC5348及び/又はRFC3448に規定されたTFRC(TCP-Friendly Rate Control)にしたがって、通信状態情報(遅延時間(RTT)及びパケットロス率)に基づいて可用帯域の推定が行われてもよい。或いは、ICMPのRTTに基づいて可用帯域の推定が行われてもよい。
なお、データ付加部114は、上述とは異なる方法でダミーデータを付加してもよい。例えば、データ付加部114は、所定のデータ量のダミーデータを多重化データに付加してもよい。この場合、送信データ生成部は、レート検出部113を有さなくてもよい。
また、データ付加部114は、ダミーデータに代えて、動画データのストリーム配信と異なるサービス用のデータを付加してもよい。例えば、データ付加部114は、ダミーデータに代えて、文字情報、リンク情報及び/又は広告情報等を端末200に表示させるためのデータを付加してよい。
<変形例1>
図7を参照して、本実施の形態の変形例1について説明する。図7は、各カメラ装置10が、同じタイミングで基準画像フレームを送信することを回避する例を示す。なお、図7に示す点線枠の棒グラフは、シフト前の画像フレームを示す。
図7を参照して、本実施の形態の変形例1について説明する。図7は、各カメラ装置10が、同じタイミングで基準画像フレームを送信することを回避する例を示す。なお、図7に示す点線枠の棒グラフは、シフト前の画像フレームを示す。
変形例1では、図7に示すように、各カメラ装置10は、画像フレームをクロック11に同期させて送信する。ここで、或る2つのカメラ装置10が、同じタイミングのクロックで基準画像フレームを送信する場合、一方のカメラ装置10は、画像フレームとクロックとの同期を少し(例えば1から数クロック分)遅延させる。これにより、データ送信装置100の多重化部112において、同じタイミングで2つの基準画像フレームが受信されることを回避できる。すなわち、多重化データの単位時間当たりのデータ量が非常に大きくなること(例えば第1閾値以上となること)を回避できる。なお、この場合、データ送信装置100は、遅延多重判定部111を有しなくてもよい。すなわち、多重化部112は、上述した遅延多重処理を行わなくてもよい。また、画像フレームとクロックとの同期を遅延させるカメラ装置10には、遅延量を示す設定情報が格納されてもよい。
<変形例2>
図8を参照して、本実施の形態の変形例2について説明する。図8は、誤り訂正符号化部115において多重化データに冗長データを付加する例を示す。図8において、斜線模様の棒グラフは、冗長データの単位時間当たりのデータ量を示す。
図8を参照して、本実施の形態の変形例2について説明する。図8は、誤り訂正符号化部115において多重化データに冗長データを付加する例を示す。図8において、斜線模様の棒グラフは、冗長データの単位時間当たりのデータ量を示す。
変形例2では、データ送信装置100は、レート検出部113及びデータ付加部114を有しなくてよい。そして、誤り訂正符号化部115は、多重化部112から受信した多重化データに対して、誤り訂正符号化の処理におけるデータブロックのサイズが満たされるように、冗長データを付加する。冗長データは、ストリームデータが無線通信装置20の最大通信速度を超えない範囲で付加されてよい。これにより、誤り訂正符号化部115は、多重化部112から受信した多重化データの単位時間当たりのデータ量が低い場合でも、データブロック分のデータが蓄積されるまで待機すること無く、直ちに誤り訂正符号化の処理を実行できる。よって、ストリームデータの送信開始の遅延を短縮できる。ただし、この場合、冗長データの単位時間当たりのデータ量が多重化データの単位時間当たりのデータ量によって変化するため、誤り訂正能力は、多重化データの単位時間当たりのデータ量に応じて変化する。
<変形例3>
図9を参照して、本実施の形態の変形例3について説明する。図9は、無線通信装置20においてストリームデータの単位時間当たりのデータ量を平準化させる例を示す。
図9を参照して、本実施の形態の変形例3について説明する。図9は、無線通信装置20においてストリームデータの単位時間当たりのデータ量を平準化させる例を示す。
変形例3では、データ送信装置100は、遅延多重判定部111を有さず、多重化部112において上述した遅延多重処理を行わなくてもよい。この場合、無線通信装置20は、図9の上段に示すような、一部の単位時間当たりのデータ量が非常に大きいストリームデータを受信する可能性がある。無線通信装置20は、このようなストリームデータを受信した場合、単位時間当たりのデータ量(例えばビットレート)が最大通信速度以下になるようにストリームデータを調整する。例えば、図9の下段に示すように、無線通信装置20は、一部の単位時間当たりのデータ量が非常に大きい(例えば第3閾値以上である)部分のストリームデータを分割し、その分割したデータを順次送信する。これにより、ストリームデータの単位時間当たりのデータ量(例えばビットレート)が無線通信装置20の最大通信速度を超えることによるストリームデータの欠落を回避できる。
<その他の変形例>
上述したデータ送信装置100の構成は一例である。例えば、データ送信装置100は、レート検出部113及びデータ付加部114を有しなくてよい。或いは、データ送信装置100は、遅延多重判定部111を有さず、多重化部112において上述した遅延多重処理を行わなくてもよい。
上述したデータ送信装置100の構成は一例である。例えば、データ送信装置100は、レート検出部113及びデータ付加部114を有しなくてよい。或いは、データ送信装置100は、遅延多重判定部111を有さず、多重化部112において上述した遅延多重処理を行わなくてもよい。
(本開示のまとめ)
本開示の一態様に係るデータ送信装置100は、受信部101、制御部102、及び、送信部103を備える。受信部101は、第1動画データを構成する第1画像フレーム及び第2動画データを構成する第2画像フレームを受信する。制御部102は、第1画像フレーム及び第2画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第1閾値未満である場合、第1画像フレーム及び第2画像フレームを多重して多重化データを生成し、第1画像フレーム及び第2画像フレームの両方の単位時間当たりのデータ量が、予め定められた第1閾値以上である場合、第2画像フレームの多重のタイミングを遅延させて多重化データを生成し、多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成する。送信部103は、ストリームデータを送信する。この構成により、ストリームデータの一部の単位時間当たりのデータ量が無線通信において単位時間当たりに送信可能なデータ量(最大通信速度)を超えることを抑止できる。よって、無線通信におけるストリームデータの欠落を抑止できる。
本開示の一態様に係るデータ送信装置100は、受信部101、制御部102、及び、送信部103を備える。受信部101は、第1動画データを構成する第1画像フレーム及び第2動画データを構成する第2画像フレームを受信する。制御部102は、第1画像フレーム及び第2画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第1閾値未満である場合、第1画像フレーム及び第2画像フレームを多重して多重化データを生成し、第1画像フレーム及び第2画像フレームの両方の単位時間当たりのデータ量が、予め定められた第1閾値以上である場合、第2画像フレームの多重のタイミングを遅延させて多重化データを生成し、多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成する。送信部103は、ストリームデータを送信する。この構成により、ストリームデータの一部の単位時間当たりのデータ量が無線通信において単位時間当たりに送信可能なデータ量(最大通信速度)を超えることを抑止できる。よって、無線通信におけるストリームデータの欠落を抑止できる。
制御部102は、多重化データの単位時間当たりのデータ量が予め定めされた第2閾値未満の場合、多重化データに対してダミーデータを付加し、ダミーデータ付きの多重化データが一定量蓄積された場合、当該蓄積されたデータに対して前記誤り訂正符号化の処理を行ってよい。この構成により、短時間で誤り訂正符号化の処理単位分のデータが蓄積される。よって、ストリームデータの送信開始の遅延を低減できる。
制御部102は、ダミーデータ付きの多重化データの単位時間当たりのデータ量が第2閾値を超えない範囲で、多重化データに対して前記ダミーデータを付加してよい。この構成により、ダミーデータを付加した場合のストリームデータの単位時間当たりのデータ量が無線通信の最大通信速度を超えることを抑止できる。よって、無線通信におけるストリームデータの欠落を抑止できる。
制御部102は、多重化データの単位時間当たりのデータ量が予め定められた第2閾値未満の場合、誤り訂正符号化の処理において、誤り訂正用の冗長データのデータ量を増やしてよい。この構成により、誤り訂正符号化の処理単位分のデータの蓄積を待つこと無く、誤り訂正符号化の処理を開始できる。よって、ストリームデータの送信開始の遅延を低減できる。
第1閾値は、動画データにおける基準画像フレームの単位時間当たりのデータ量よりも小さく、かつ、動画データにおける差分画像フレームの単位時間当たりのデータ量よりも大きい値であってよい。
本開示の一態様に係るデータ送信システム1は、第1カメラ装置10、第2カメラ装置10、データ送信装置100、及び、無線通信装置20を備える。第1カメラ装置10は、第1動画データを構成する第1画像フレームを送信する。第2カメラ装置10は、第2動画データを構成する第2画像フレームを送信する。データ送信装置100は、第1画像フレーム及び第2画像フレームを受信し、第1画像フレーム及び第2画像フレームを多重して多重化データを生成し、多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成し、ストリームデータを送信する。無線通信装置20は、ストリームデータを無線通信によって端末200へ送信する。ここで、第2カメラ装置10は、単位時間当たりのデータ量が予め定められた第1閾値以上である第2画像フレームを、単位時間当たりのデータ量が第1閾値以上である第1画像フレームと異なるタイミングで送信する。この構成により、ストリームデータの一部の単位時間当たりのデータ量が無線通信において単位時間当たりに送信可能なデータ量(最大通信速度)を超えることを抑止できる。よって、無線通信におけるストリームデータの欠落を抑止できる。
無線通信装置20は、ストリームデータをマルチキャストによって端末200へ送信してもよい。これにより、同時に複数の端末200に対してストリームデータを送信することができるため、端末200の数が増加しても伝送遅延を発生しにくくすることができる。なお、端末200の数が少ない場合や、端末200からのフィードバックを受けてストリームデータの品質の制御等を行う場合、無線通信装置20は、ストリームデータをユニキャストで送信してもよい。
本開示の一態様に係るデータ送信装置100は、次の処理を実行する。すなわち、データ送信装置100は、第1画像フレーム及び第2画像フレームを受信し、第1画像フレーム及び第2画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第1閾値未満である場合、第1画像フレーム及び第2画像フレームを多重して多重化データを生成し、第1画像フレーム及び第2画像フレームの両方の単位時間当たりのデータ量が、予め定められた第1閾値以上である場合、第2画像フレームの多重のタイミングを遅延させて多重化データを生成し、多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成し、ストリームデータを送信する。この方法により、ストリームデータの一部の単位時間当たりのデータ量が無線通信において単位時間当たりに送信可能なデータ量(最大通信速度)を超えることを抑止できる。よって、無線通信におけるストリームデータの欠落を抑止できる。
以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述したデータ送信装置100、及び、端末200の機能は、コンピュータプログラムにより実現され得る。
図10は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ2100は、キーボード、マウス、タッチペン及び/又はタッチパッドなどの入力装置2101、ディスプレイ又はスピーカーなどの出力装置2102、CPU(Central Processing Unit)2103、GPU(Graphics Processing Unit)2104、ROM(Read Only Memory)2105、RAM(Random Access Memory)2106、ハードディスク装置又はSSD(Solid State Drive)などの記憶装置2107、DVD−ROM(Digital Versatile Disk Read Only Memory)又はUSB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置2108、ネットワークを介して通信を行う送受信装置2109を備え、各部はバス2110により接続される。
そして、読取装置2108は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置2107に記憶させる。あるいは、送受信装置2109が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置2107に記憶させる。
そして、CPU2103が、記憶装置2107に記憶されたプログラムをRAM2106にコピーし、そのプログラムに含まれる命令をRAM2106から順次読み出して実行することにより、上記各装置の機能が実現される。
例えば、図2に示すデータ送信装置100において、受信部101及び送信部103は送受信装置2109によって実現され、制御部102はCPU2103によって実現される。例えば、図3に示す端末200において、受信部201は送受信装置2109によって実現され、制御部202はCPU2103によって実現される。
本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。
上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるLSIとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのLSI又はLSIの組み合わせによって制御されてもよい。LSIは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。LSIはデータの入力と出力を備えてもよい。LSIは、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
集積回路化の手法はLSIに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム(通信装置と総称)において実施可能である。通信装置の、非限定的な例としては、電話機(携帯電話、スマートフォン等)、タブレット、パーソナル・コンピューター(PC)(ラップトップ、デスクトップ、ノートブック等)、カメラ(デジタル・スチル/ビデオ・カメラ等)、デジタル・プレーヤー(デジタル・オーディオ/ビデオ・プレーヤー等)、着用可能なデバイス(ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等)、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン(遠隔ヘルスケア・メディシン処方)デバイス、通信機能付きの乗り物又は移動輸送機関(自動車、飛行機、船等)、及び上述の各種装置の組み合わせがあげられる。
通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス(家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等)、自動販売機、その他IoT(Internet of Things)ネットワーク上に存在し得るあらゆる「モノ(Things)」をも含む。
通信には、セルラーシステム、無線LANシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。
また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサー等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサーが含まれる。
また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。
本開示の一態様は、動画データを送信するためのシステムに有用である。
1 データ送信システム
10 カメラ装置
20 無線通信装置
100 データ送信装置
101 受信部
102 制御部
103 送信部
111 遅延多重判定部
112 多重化部
113 レート検出部
114 データ付加部
115 誤り訂正符号化部
200 端末
201 受信部
202 制御部
211 誤り訂正復号部
212 逆多重化部
213 動画データ選択部
214 再生部
10 カメラ装置
20 無線通信装置
100 データ送信装置
101 受信部
102 制御部
103 送信部
111 遅延多重判定部
112 多重化部
113 レート検出部
114 データ付加部
115 誤り訂正符号化部
200 端末
201 受信部
202 制御部
211 誤り訂正復号部
212 逆多重化部
213 動画データ選択部
214 再生部
Claims (9)
- 第1画像フレーム及び第2画像フレームを受信する受信部と、
前記第1画像フレーム及び前記第2画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第1閾値未満である場合、前記第1画像フレーム及び前記第2画像フレームを多重して多重化データを生成し、前記第1画像フレーム及び前記第2画像フレームの両方の単位時間当たりのデータ量が、予め定められた第1閾値以上である場合、前記第2画像フレームの多重のタイミングを遅延させて多重化データを生成し、前記多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成する制御部と、
前記ストリームデータを送信する送信部と、
を備える、データ送信装置。 - 前記制御部は、
前記多重化データの単位時間当たりのデータ量が予め定めされた第2閾値未満の場合、前記多重化データに対してダミーデータを付加し、
前記ダミーデータ付きの多重化データが一定量蓄積された場合、当該蓄積されたデータに対して前記誤り訂正符号化の処理を行う、
請求項1に記載のデータ送信装置。 - 前記制御部は、前記ダミーデータ付きの多重化データの単位時間当たりのデータ量が前記第2閾値を超えない範囲で、前記多重化データに対して前記ダミーデータを付加する、
請求項2に記載のデータ送信装置。 - 前記制御部は、前記ストリームデータの送信と異なるサービスのデータを送信する場合、前記多重化データに対して、前記ダミーデータに代えて、前記サービスのデータを付加する、
請求項2に記載のデータ送信装置。 - 前記制御部は、前記多重化データの単位時間当たりのデータ量が予め定められた第2閾値未満の場合、前記誤り訂正符号化の処理において、誤り訂正用の冗長データのデータ量を、前記多重化データの単位時間当たりのデータ量が予め定められた第2閾値以上の場合と比べて増やす、
請求項1に記載のデータ送信装置。 - 前記第1閾値は、動画データにおける基準の画像フレームの単位時間当たりのデータ量よりも小さく、かつ、前記動画データにおける前記基準の画像フレームに対する差分の画像フレームの単位時間当たりのデータ量よりも大きい値である、
請求項1に記載のデータ送信装置。 - 第1画像フレームを送信する第1カメラ装置と、
第2画像フレームを送信する第2カメラ装置と、
前記第1画像フレーム及び前記第2画像フレームを受信し、前記第1画像フレーム及び前記第2画像フレームを多重して多重化データを生成し、前記多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成し、前記ストリームデータを送信するデータ送信装置と、
前記ストリームデータを無線通信によって端末へ送信する無線通信装置と、を備え、
前記第2カメラ装置は、単位時間当たりのデータ量が予め定められた第1閾値以上である第2画像フレームを、単位時間当たりのデータ量が前記第1閾値以上である第1画像フレームと異なるタイミングで送信する、
データ送信システム。 - 前記無線通信装置は、前記ストリームデータをマルチキャストによって前記端末へ送信する、
請求項7に記載のデータ送信システム。 - データ送信装置が、
第1画像フレーム及び第2画像フレームを受信し、
前記第1画像フレーム及び前記第2画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第1閾値未満である場合、前記第1画像フレーム及び前記第2画像フレームを多重して多重化データを生成し、前記第1画像フレーム及び前記第2画像フレームの両方の単位時間当たりのデータ量が、予め定められた第1閾値以上である場合、前記第2画像フレームの多重のタイミングを遅延させて多重化データを生成し、前記多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成し、
前記ストリームデータを送信する、
データ送信方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019124562A JP2021013049A (ja) | 2019-07-03 | 2019-07-03 | データ送信装置、データ送信システム、及び、データ送信方法 |
PCT/JP2020/021708 WO2021002135A1 (ja) | 2019-07-03 | 2020-06-02 | データ送信装置、データ送信システム、及び、データ送信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019124562A JP2021013049A (ja) | 2019-07-03 | 2019-07-03 | データ送信装置、データ送信システム、及び、データ送信方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021013049A true JP2021013049A (ja) | 2021-02-04 |
Family
ID=74100570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019124562A Pending JP2021013049A (ja) | 2019-07-03 | 2019-07-03 | データ送信装置、データ送信システム、及び、データ送信方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021013049A (ja) |
WO (1) | WO2021002135A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4559126B2 (ja) * | 2004-06-01 | 2010-10-06 | 日本電信電話株式会社 | 映像送信方法、映像送信装置、映像送信用プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP5844692B2 (ja) * | 2012-06-11 | 2016-01-20 | 日本電信電話株式会社 | リソース使用量平準化装置及びリソース使用量平準化方法 |
JP2018152656A (ja) * | 2017-03-10 | 2018-09-27 | 三菱電機株式会社 | 伝送装置、映像配信装置、映像符号化装置及び伝送方法 |
-
2019
- 2019-07-03 JP JP2019124562A patent/JP2021013049A/ja active Pending
-
2020
- 2020-06-02 WO PCT/JP2020/021708 patent/WO2021002135A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021002135A1 (ja) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shi et al. | Mobile VR on edge cloud: A latency-driven design | |
CN106664458B (zh) | 用于发射视频数据的方法、源装置以及存储媒体 | |
CN109314793B (zh) | 提供自适应流服务的方法及流服务器 | |
JP6382319B2 (ja) | オーディオ/ビデオストリーミングのためのレイテンシバッファリングの動的および自動制御 | |
US10856018B2 (en) | Clock synchronization techniques including modification of sample rate conversion | |
US9621949B2 (en) | Method and apparatus for reducing latency in multi-media system | |
WO2022194140A1 (zh) | 远程视频传输方法、传输装置、存储介质及电子设备 | |
CN104618195A (zh) | 带宽估测方法和装置 | |
JP6174582B2 (ja) | 符号化ビットストリーム間の動的切り換え技法 | |
KR20150131175A (ko) | Http를 통한 동적 적응형 스트리밍에서 미디어 세그먼트들의 손실 존재시의 회복력 | |
US11539991B2 (en) | Method and system for transmitting and reproducing video of dynamic bitrate with a plurality of channels | |
JP2012523789A (ja) | 信頼性の高いリアルタイム送信のための、画像及びビデオのデュアルモード圧縮 | |
CN108881931A (zh) | 一种数据缓冲方法及网络设备 | |
EP3281317B1 (en) | Multi-layer timing synchronization framework | |
Abdullah et al. | Survey of transportation of adaptive multimedia streaming service in internet | |
KR20140018235A (ko) | 패킷화된 통신 네트워크를 통해 통신되는 스트리밍 콘텐츠를 위한 클럭 복원 메커니즘 | |
US20140099040A1 (en) | Image processing device and image processing method | |
KR20150026405A (ko) | 음성 패킷 송수신 방법 및 이를 구현하는 전자 장치 | |
US20140146836A1 (en) | Method for video streaming and an electronic device thereof | |
WO2021002135A1 (ja) | データ送信装置、データ送信システム、及び、データ送信方法 | |
WO2017160404A1 (en) | User input based adaptive streaming | |
CN104427383A (zh) | 一种信息处理方法以及电子设备 | |
JP4909590B2 (ja) | メディア信号の受信装置、送信装置及び送受信システム | |
KR102209783B1 (ko) | 스트리밍 제공 서버와 기지국 연동 노드를 통한 스트리밍 데이터 패킷 제공 방법, 이를 위한 기지국 연동 노드 | |
CN116264619A (zh) | 资源处理方法、装置、服务器、终端、***及存储介质 |