JP2021013049A - データ送信装置、データ送信システム、及び、データ送信方法 - Google Patents

Abstract

【課題】無線通信におけるストリームデータの欠落を抑止する。【解決手段】データ送信装置は、第１画像フレーム及び第２画像フレームを受信する受信部１０１と、第１画像フレーム及び第２画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第１閾値未満である場合、第１画像フレーム及び第２画像フレームを多重して多重化データを生成し、第１画像フレーム及び第２画像フレームの両方の単位時間当たりのデータ量が、予め定められた第１閾値以上である場合、第２画像フレームの多重のタイミングを遅延させて多重化データを生成し、多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成する制御部１０２と、ストリームデータを送信する送信部１０３とを備える。【選択図】図２

Description

本開示は、データ送信装置、データ送信システム、及び、データ送信方法に関する。

サーバが、無線通信を通じて動画データをストリーミング配信し、端末が、サーバからストリーミング配信された動画データを、ほぼリアルタイムに受信及び再生するシステムが知られている。無線通信の途中に生じ得るデータ誤りを端末が訂正できるように、サーバは、ストリームデータに対してＦＥＣ（Forward Error Correction）のような誤り訂正符号化の処理を行う。特許文献１には、誤り訂正符号化の処理単位のデータ量を大きく設定することにより、誤り訂正能力を向上させる技術が開示されている。

特開２００７−３２４６９９号公報

誤り訂正符号化は、無線通信の途中で欠落したデータを補償できるものの、他の要因によってもデータの欠落は生じ得る。例えば、ストリームデータのビットレートが、無線通信の最大通信速度を超える場合もデータの欠落が生じ得る。一方、特許文献１に示すように誤り訂正符号化の処理単位のデータ量を大きく設定した場合、誤り訂正能力は向上するものの、処理単位のデータ量が蓄積されるまで誤り訂正符号化の処理を開始できないため、ストリームデータの送信開始が遅延してしまう。

本開示の非限定的な実施例は、無線通信におけるストリームデータの欠落を抑止し、また、ストリームデータの送信開始の遅延を低減する技術の提供に資する。

本開示の一態様に係るデータ送信装置は、第１画像フレーム及び第２画像フレームを受信する受信部と、前記第１画像フレーム及び前記第２画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第１閾値未満である場合、前記第１画像フレーム及び前記第２画像フレームを多重して多重化データを生成し、前記第１画像フレーム及び前記第２画像フレームの両方の単位時間当たりのデータ量が、予め定められた第１閾値以上である場合、前記第２画像フレームの多重のタイミングを遅延させて多重化データを生成し、前記多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成する制御部と、前記ストリームデータを送信する送信部と、を備える。

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、ストリームデータの欠落を抑制し、また、ストリームデータ送信開始の遅延を低減できる。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

一実施の形態に係るデータ送信システムの構成例を示す図 一実施の形態に係るデータ送信装置の構成例を示す図 一実施の形態に係る端末の構成例を示す図 各カメラ装置から受信した基準画像フレームをそのまま多重する場合の例を説明するための図 一実施の形態に係る各カメラ装置から受信した基準画像フレームの一部を遅延多重する場合の例を説明するための図 一実施の形態に係る多重化データに対してダミーデータを付加した例を説明するための図 一実施の形態に係る各カメラ装置が同じタイミングで基準画像フレームを送信することを回避する例を説明するための図 一実施の形態に係る誤り訂正符号化部において多重化データに冗長データを付加する例を説明するための図 一実施の形態に係る無線通信装置においてストリームデータのビットレートを平準化させる例を説明するための図 本開示の実施の形態に係るハードウェアの構成例を示す図

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（一実施の形態）
＜システム構成＞
図１は、データ送信システムの構成例を示す。データ送信システム１は、複数のカメラ装置１０、データ送信装置１００、及び、無線通信装置２０を有する。

複数のカメラ装置１０は、通信ネットワークＮ１を通じて、データ送信装置１００に接続する。通信ネットワークＮ１は、例えば、Ｅｔｈｅｒｎｅｔ規格に基づいて構成される有線ＬＡＮ（Local Area Network）、又は、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ／ａｄ等の規格に基づいて構成される無線ＬＡＮである。データ送信装置１００は、通信ネットワークＮ２を通じて、無線通信装置２０に接続する。通信ネットワークＮ２は、例えば、Ｅｔｈｅｒｎｅｔ規格等の有線ＬＡＮ、又は、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ／ａｄ等の規格に基づいて構成される無線ＬＡＮである。また、通信ネットワークＮ１および通信ネットワークＮ２は、ＬＡＮに限られるものではなく、複数のＬＡＮを跨いだＷＡＮ（Wide Area Network）等のより広域のネットワークであっても構わない。

カメラ装置１０は、撮影した画像から、複数の画像フレームによって構成される動画データを生成し、その生成した動画データを、通信ネットワークＮ１を通じて、ストリーミング送信する。例えば、カメラ装置１０は、動画データを構成する画像フレームを順次送信する。カメラ装置１０は、例えば、４Ｋリモートビデオカメラである。

動画データは、例えば、Ｈ．２６４コーデックに基づいて構成される。この場合、動画データは、複数の画像フレームから構成される。画像フレームは、基準画像フレーム（例えばＩピクチャフレーム）と、基準画像フレームに対する差分画像フレーム（例えばＰピクチャフレーム及び／又はＢピクチャフレーム）とに分類される。基準画像フレームのデータ量は、差分画像フレームよりも大きい。基準画像フレームとその基準画像フレームに対する差分画像フレームとによって構成される単位グループは、ＧＯＰ（Group Of Picture）と呼ばれる。なお、動画データのコーデックは、基準画像フレームと差分画像フレームとの組み合わせを用いるコーデックであればよく、Ｈ．２６４に限られない。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３、又は、Ｈ．２６５等であってもよい。

データ送信装置１００は、各カメラ装置１０から、動画データを受信する。例えば、データ送信装置１００は、各カメラ装置１０から、動画データを構成する画像フレームを順次受信する。データ送信装置１００は、各カメラ装置１０から受信した画像フレームを時間多重して、１つの多重化データを生成する。データ送信装置１００は、多重化データが誤り訂正符号化の処理単位分蓄積された場合、その蓄積されたデータに対して誤り訂正符号化の処理を行い、ストリームデータを生成する。データ送信装置１００は、ストリームデータを、無線通信装置２０へ送信する。なお、データ送信装置１００の詳細については後述する。

無線通信装置２０は、例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ／ａｄ等の規格に基づく無線ＬＡＮ（通信ネットワークＮ２）を構成する。無線通信装置２０は、データ送信装置１００から、ストリームデータを受信する。無線通信装置２０は、通信ネットワークＮ２を通じて、ストリームデータを、マルチキャストにて各端末２００へ送信する。無線通信装置２０は、アクセスポイント、無線ルータ、及び、無線基地局といった他の用語に読み替えられてもよい。

端末２００は、通信ネットワークＮ２を通じて、無線通信装置２０からマルチキャストにて送信されたストリームデータを受信する。端末２００は、受信したストリームデータに対して誤り訂正復号の処理を行い、多重化データを抽出する。端末２００は、多重化データから１つの動画データを抽出する。端末２００は、抽出した動画データを再生し、画面に表示する。端末２００は、例えば、ＰＣ、携帯電話、タブレット端末、テレビ端末等であってよい。なお、端末２００が複数の画面でストリームデータを再生する機能を持つ場合には、多重化データから複数の動画データを抽出してもよい。

＜データ送信装置の構成＞
図２は、データ送信装置１００の構成例を示す。データ送信装置１００は、受信部１０１、制御部１０２、及び、送信部１０３を有する。制御部１０２は、遅延多重判定部１１１、多重化部１１２、レート検出部１１３、データ付加部１１４、及び、誤り訂正符号化部１１５を有する。

受信部１０１は、各カメラ装置１０から動画データ（画像フレーム）を順次受信し、受信した各動画データ（画像フレーム）を多重化部１１２へ送信する。

遅延多重判定部１１１は、受信部１０１から多重化部１１２へ送信される各画像フレームのデータ量に基づいて、多重化部１１２における複数の画像フレームの時間多重において、少なくとも１つの画像フレームの多重タイミングを遅延させるか否かを判定する。例えば、遅延多重判定部１１１は、受信部１０１から多重化部１１２に対して、予め定められた第１閾値以上のデータ量の第１画像フレーム及び第２画像フレームが送信された場合、第２画像フレームの多重タイミングを遅延させると判定する。遅延多重判定部１１１は、少なくとも１つの画像フレームの多重タイミングを遅延させると判定した場合、多重タイミングの遅延の指示（以下「遅延多重指示」という）を、多重化部へ送信する。なお、遅延多重判定部１１１の詳細については後述する。

多重化部１１２は、受信部１０１から受信した、各カメラ装置１０からの画像フレームを時間多重し、１つの多重化データを生成する。このとき、多重化部１１２は、遅延多重判定部１１１から遅延多重指示を受信した場合、少なくとも１つの画像フレーム（例えば第２画像フレーム）の多重タイミングを遅延させる。多重化部１１２は、生成した多重化データを、データ付加部１１４へ送信する。なお、多重化部１１２の詳細については後述する。

レート検出部１１３は、多重化データのデータ量を検出し、その検出した多重化データのデータ量をデータ付加部１１４へ送信する。例えば、レート検出部１１３は、多重化データの単位時間当たりのデータ量（例えばビットレート）を検出し、データ付加部１１４へ送信する。

データ付加部１１４は、レート検出部１１３から受信した多重化データのデータ量に基づいて、多重化データに付加するダミーデータのデータ量を決定する。データ付加部１１４は、多重化部１１２から受信した多重化データに、その決定したデータ量のダミーデータを付加する。データ付加部１１４は、ダミーデータ付きの多重化データを、誤り訂正符号化部１１５へ送信する。なお、データ付加部１１４の詳細については後述する。

誤り訂正符号化部１１５は、データ付加部１１４から受信したダミーデータ付きの多重化データに対して誤り訂正符号化の処理を行い、ストリームデータを生成する。例えば、誤り訂正符号化部１１５は、ダミーデータ付きの多重化データが、誤り訂正符号化の処理単位分蓄積された場合、その蓄積されたデータ（データブロック）に対して誤り訂正符号化の処理を行い、ストリームデータを生成する。誤り訂正符号化の処理は、例えば、ＬＤＰＣ（Low-Density Parity-Check）を用いたＡＬ（Application Layer）−ＦＥＣに基づく処理である。この場合、誤り訂正符号化の処理において、データブロックに対して誤り訂正用の冗長データが付加される。つまり、ストリームデータのビットレートは、多重化データのビットレートよりも大きい。誤り訂正符号化部１１５は、ストリームデータを送信部１０３へ送信する。なお、誤り訂正符号化の処理単位のサイズ（つまりデータブロックのサイズ）は、求められる誤り訂正能力に応じて任意に設定されてもよい。

送信部１０３は、誤り訂正符号化部１１５から受信したストリームデータを、無線通信装置２０へ送信する。

＜端末の構成＞
図３は、端末２００の構成例を示す。端末２００は、受信部２０１、及び、制御部２０２を有する。制御部２０２は、誤り訂正復号部２１１、逆多重化部２１２、動画データ選択部２１３、及び、再生部２１４を有する。

受信部２０１は、通信ネットワークＮ２を通じて、無線通信装置２０から、ストリームデータを受信する。受信部２０１は、受信したストリームデータを誤り訂正復号部２１１へ送信する。

誤り訂正復号部２１１は、受信部２０１から受信したストリームデータに対して誤り訂正復号の処理を行い、誤り訂正された多重化データを抽出する。誤り訂正復号の処理は、上述した誤り訂正符号化の処理と同様、ＬＤＰＣを用いたＡＬ−ＦＥＣに基づく処理であってよい。誤り訂正復号部２１１は、抽出した多重化データを逆多重化部２１２へ送信する。

逆多重化部２１２は、誤り訂正復号部２１１から受信した多重化データから複数の動画データを抽出する。逆多重化部２１２は、抽出した複数の動画データを動画データ選択部２１３へ送信する。

動画データ選択部２１３は、例えば、端末２００のユーザからの指示に基づいて、逆多重化部２１２から受信した複数の動画データのうちの１つを選択する。動画データ選択部２１３は、選択した１つの動画データを再生部２１４へ送信する。

再生部２１４は、動画データ選択部２１３から受信した動画データを再生する。例えば、動画データがＨ．２６４コーデックの場合、Ｈ．２６４コーデックに基づくデコード処理を行う。再生部２１４は、再生した動画データを、例えば、端末２００の画面に表示する。

＜遅延多重判定部及び多重化部の詳細＞
図４及び図５を参照して、遅延多重判定部１１１及び多重化部１１２の詳細について説明する。図４は、各カメラ装置１０から受信した基準画像フレームをそのまま多重する場合の例を示す。図５は、各カメラ装置１０から受信した基準画像フレームの一部を遅延多重する場合の例を示す。なお、図４及び図５に示すグラフにおいて、横軸は時間を示し、縦軸はデータ量を示し、黒色の棒グラフは基準画像フレームの単位時間当たりデータ量を示し、白色の棒グラフは差分画像フレームの単位時間当たりデータ量を示す。これは、他の図面においても同様である。単位時間当たりのデータ量は、例えば、ビットレートである。

上述したように、基準画像フレームの単位時間当たりのデータ量は、差分画像フレームよりも大きい。よって、図４に示すように、各カメラ装置１０から同じタイミングで基準画像フレームを受信した場合、それら複数の基準画像フレームをそのまま多重して多重化データを生成すると、多重化データの単位時間当たりのデータ量が非常に大きくなってしまう。そして、この多重化データには、上述した通り、誤り訂正符号化部１１５において冗長データが付加されるので、ストリームデータの単位時間当たりのデータ量はさらに大きくなってしまう。ストリームデータの単位時間当たりのデータ量（例えばビットレート）が無線通信装置２０の単位時間当たりに送信可能なデータ量（例えばビットレート）を超える場合、ストリームデータの無線通信において欠落（ロスト）が生じ得るため、好ましくない。なお、本説明では、無線通信装置２０の単位時間当たりに送信可能なデータ量を、最大通信速度と表記する場合がある。

そこで、遅延多重判定部１１１は、図５に示すように、多重化データの単位時間当たりのデータ量が非常に大きくなることを回避するための多重遅延処理を多重化部１１２に実行させるか否かを判定する。例えば、遅延多重判定部１１１は、次の（Ａ１）、（Ａ２）又は（Ａ３）の判定を行う。

（Ａ１）遅延多重判定部１１１は、受信部１０１から多重化部１１２に対して送信された複数の画像フレームのうち、２つの画像フレーム（第１画像フレーム及び第２画像フレーム）が、それぞれ、単位時間当たりのデータ量が所定の第１閾値以上である場合、多重化部１１２に対して多重遅延指示を送信する。多重化部１１２は、この多重遅延指示を受信した場合、第１画像フレーム及び第２画像フレームのうちの何れか一方（例えば第２画像フレーム）の多重タイミングを遅延させる。これにより、１つの多重化データ（１回の多重タイミング）に、単位時間当たりのデータ量が第１閾値以上の画像フレームが２つ以上多重されることを回避できる。よって、多重化データの単位時間当たりのデータ量が非常に大きくなることを回避できる。

（Ａ２）遅延多重判定部１１１は、受信部１０１から多重化部１１２に対して同じタイミングに２つ以上の基準画像フレームが送信された場合、多重化部１１２に対して多重遅延指示を送信する。多重化部１１２は、この多重遅延指示を受信した場合、受信部１０１から受信した２つ以上の基準画像フレームのうち、１つの基準画像フレームを多重し、他の基準画像フレームの多重タイミングを遅延させる。これにより、１つの多重化データ（１回の多重タイミング）に、２以上の基準画像データが多重されることを回避できる。よって、多重化データの単位時間当たりのデータ量が非常に大きくなることを回避できる。なお、「同じタイミングに２つ以上の画像フレームを受信する」とは、同時刻に２つ以上の画像フレームを受信する意味ではなく、同じ期間内に２つ以上の画像フレームを受信する意味である。

（Ａ３）遅延多重判定部１１１は、受信部１０１から多重化部１１２に対して同じタイミングに２つ以上の基準画像フレームが送信され、かつ、それら基準画像フレームを仮に多重した場合の単位時間当たりのデータ量が所定の目標の単位時間当たりのデータ量（以下「目標データ量」という）以上となる場合、多重化部１１２に対して多重遅延指示を総インする。多重化部１１２は、この多重遅延指示を受信した場合、受信部１０１から受信した複数の基準画像フレームのうち、目標データ量を超過する分の数の基準画像フレームの多重タイミングを遅延させる。これにより、多重化データの単位時間当たりのデータ量が目標データ量以上となることを回避できる。

基準画像フレームの多重のタイミングを遅延させる方法は、次の（Ｂ１）又は（Ｂ２）の何れでもよい。

（Ｂ１）多重タイミングの遅延対象に選択された基準画像フレームを含む動画データについて、当該基準画像フレーム以降の画像フレームの多重タイミングを遅延させる。

（Ｂ２）多重タイミングの遅延対象に選択された基準画像フレームの多重タイミングを遅延させ、他の画像フレームの多重タイミングを維持する。この場合、当該基準画像フレームを含む動画データにおいて、画像フレームの順序が入れ替わる可能性がある。しかし、例えば、ＲＴＰ（Real-time Transport Protocol）を用いることにより、端末２００は、画像フレームの順序が判るので、正常に動画データを再生できる。

なお、遅延多重指示には、多重化部１１２が多重タイミングを遅延させることができる最大時間が含まれてよい。この最大時間は、基準画像フレームの送信間隔以下、或いは、ＧＯＰ期間以下であってよい。これにより、多重タイミングの遅延対象の動画データが想定以上に遅延することを防止できる。

また、上述では、基準画像フレームを、多重タイミングを遅延させるトリガーとした場合の例を説明したが、多重タイミングを遅延させるトリガーは、基準画像フレームに限られない。例えば、単位時間当たりのデータ量が予め定められた第１閾値以上の画像フレームを、多重タイミングを遅延させるトリガーとしてもよい。この場合は、単位時間当たりのデータ量が第１閾値以上の画像フレームであれば、基準画像フレーム及び差分画像フレームの何れであってもよい。また、遅延多重判定部１１１は、第１閾値を、基準画像フレームの単位時間当たりのデータ量よりも小さく、かつ、差分画像フレームの単位時間当たりのデータ量よりも大きい値に設定することにより、受信した画像フレームが、基準画像フレーム又は差分画像フレームの何れであるかを判定してもよい。なお、基準画像フレームのデータ量は、統計的には差分画像フレームのデータ量よりも大きくなるが、撮影条件等によっては、基準画像フレームのデータ量が差分画像フレームのデータ量よりも小さくなることもあり得る。そのため、第１閾値を、基準画像フレームの単位時間当たりのデータ量よりも小さく、かつ、差分画像フレームの単位時間当たりのデータ量よりも大きい値に設定する場合には、基準画像フレーム及び差分画像フレームの単位時間当たりのデータ量に代えて、過去のデータ量の平均値等を使用してもよい。

＜データ付加部の詳細＞
図６を参照して、データ付加部１１４の詳細について説明する。図６は、多重化データに対してダミーデータを付加した例を示す。図６において、横線模様の棒グラフは、ダミーデータの単位時間当たりのデータ量を示す。

上述したように、誤り訂正符号化部１１５は、処理単位のデータブロックに対して、誤り訂正符号化の処理を行う。データブロックのサイズを大きく設定すると、誤り訂正能力は向上するものの、データブロック分のデータが蓄積されるまでの時間が長くなる。よって、ストリームデータの送信開始の遅延が大きくなる。また、受信側の端末２００においても処理単位のデータが蓄積されるまで誤り訂正符号の復号を開始できないため、復号結果を得るまでの時間がさらに遅延する原因の１つとなり、システム全体の伝送遅延につながる。反対に、データブロックのサイズを小さく設定すると、誤り訂正能力は低下するものの、データブロック分のデータが蓄積されるまでの時間が短くなる。よって、ストリームデータの送信開始の遅延は小さくなる。

そこで、データ付加部１１４は、多重化データの単位時間当たりのデータ量が、第２閾値の一例である目標データ量を超えない範囲で、目標データ量にできるだけ近づくように、多重化データにダミーデータを付加する。例えば、データ付加部１１４は、レート検出部１１３から受信した多重化データの単位時間当たりのデータ量から、目標データ量を超えない範囲で付加可能なダミーデータのデータ量を算出する。そして、データ付加部１１４は、多重化データに、その算出したデータ量のダミーデータを付加する。これにより、データ付加部１１４から送信される多重化データの単位時間当たりのデータ量が大きくなるので、誤り訂正符号化部１１５におけるデータブロックのサイズを大きく設定しても、短時間でデータブロック分のデータが蓄積される。これにより、高い誤り訂正能力と、ストリームデータの低遅延とを両立できる。また、ダミーデータのデータ量を、目標データ量を超えない範囲に制限することにより、ストリームデータのビットレートが無線通信装置２０の最大通信速度を超えることを抑止できる。なお、最大通信速度は、通信帯域上限と読み替えられてもよい。

なお、ダミーデータのデータ量の算出方法は、上述に限られない。例えば、ダミーデータのデータ量は、次のように算出されてもよい。送信部１０３は、無線通信装置２０へ送信するストリームデータの単位時間当たりのデータ量を監視して、監視した単位時間当たりのデータ量をデータ付加部１１４へフィードバックする。データ付加部１１４は、そのフィードバックされたストリームデータの単位時間当たりのデータ量と、過去の多重化データの単位時間当たりのデータ量とに基づき、多重化データがストリームデータに変換される際の単位時間当たりのデータ量の変動値を予測する。そして、データ付加部１１４は、その予測した変動値に基づいて、ストリームデータの単位時間当たりのデータ量が無線通信装置２０の最大通信速度を超えない範囲で付加可能なダミーデータのデータ量を算出する。変動値の予測には、既存の技術が適用されてよい。例えば、ＲＦＣ５３４８及び／又はＲＦＣ３４４８に規定されたＴＦＲＣ（TCP-Friendly Rate Control）にしたがって、通信状態情報（遅延時間（ＲＴＴ）及びパケットロス率）に基づいて可用帯域の推定が行われてもよい。或いは、ＩＣＭＰのＲＴＴに基づいて可用帯域の推定が行われてもよい。

なお、データ付加部１１４は、上述とは異なる方法でダミーデータを付加してもよい。例えば、データ付加部１１４は、所定のデータ量のダミーデータを多重化データに付加してもよい。この場合、送信データ生成部は、レート検出部１１３を有さなくてもよい。

また、データ付加部１１４は、ダミーデータに代えて、動画データのストリーム配信と異なるサービス用のデータを付加してもよい。例えば、データ付加部１１４は、ダミーデータに代えて、文字情報、リンク情報及び／又は広告情報等を端末２００に表示させるためのデータを付加してよい。

＜変形例１＞
図７を参照して、本実施の形態の変形例１について説明する。図７は、各カメラ装置１０が、同じタイミングで基準画像フレームを送信することを回避する例を示す。なお、図７に示す点線枠の棒グラフは、シフト前の画像フレームを示す。

変形例１では、図７に示すように、各カメラ装置１０は、画像フレームをクロック１１に同期させて送信する。ここで、或る２つのカメラ装置１０が、同じタイミングのクロックで基準画像フレームを送信する場合、一方のカメラ装置１０は、画像フレームとクロックとの同期を少し（例えば１から数クロック分）遅延させる。これにより、データ送信装置１００の多重化部１１２において、同じタイミングで２つの基準画像フレームが受信されることを回避できる。すなわち、多重化データの単位時間当たりのデータ量が非常に大きくなること（例えば第１閾値以上となること）を回避できる。なお、この場合、データ送信装置１００は、遅延多重判定部１１１を有しなくてもよい。すなわち、多重化部１１２は、上述した遅延多重処理を行わなくてもよい。また、画像フレームとクロックとの同期を遅延させるカメラ装置１０には、遅延量を示す設定情報が格納されてもよい。

＜変形例２＞
図８を参照して、本実施の形態の変形例２について説明する。図８は、誤り訂正符号化部１１５において多重化データに冗長データを付加する例を示す。図８において、斜線模様の棒グラフは、冗長データの単位時間当たりのデータ量を示す。

変形例２では、データ送信装置１００は、レート検出部１１３及びデータ付加部１１４を有しなくてよい。そして、誤り訂正符号化部１１５は、多重化部１１２から受信した多重化データに対して、誤り訂正符号化の処理におけるデータブロックのサイズが満たされるように、冗長データを付加する。冗長データは、ストリームデータが無線通信装置２０の最大通信速度を超えない範囲で付加されてよい。これにより、誤り訂正符号化部１１５は、多重化部１１２から受信した多重化データの単位時間当たりのデータ量が低い場合でも、データブロック分のデータが蓄積されるまで待機すること無く、直ちに誤り訂正符号化の処理を実行できる。よって、ストリームデータの送信開始の遅延を短縮できる。ただし、この場合、冗長データの単位時間当たりのデータ量が多重化データの単位時間当たりのデータ量によって変化するため、誤り訂正能力は、多重化データの単位時間当たりのデータ量に応じて変化する。

＜変形例３＞
図９を参照して、本実施の形態の変形例３について説明する。図９は、無線通信装置２０においてストリームデータの単位時間当たりのデータ量を平準化させる例を示す。

変形例３では、データ送信装置１００は、遅延多重判定部１１１を有さず、多重化部１１２において上述した遅延多重処理を行わなくてもよい。この場合、無線通信装置２０は、図９の上段に示すような、一部の単位時間当たりのデータ量が非常に大きいストリームデータを受信する可能性がある。無線通信装置２０は、このようなストリームデータを受信した場合、単位時間当たりのデータ量（例えばビットレート）が最大通信速度以下になるようにストリームデータを調整する。例えば、図９の下段に示すように、無線通信装置２０は、一部の単位時間当たりのデータ量が非常に大きい（例えば第３閾値以上である）部分のストリームデータを分割し、その分割したデータを順次送信する。これにより、ストリームデータの単位時間当たりのデータ量（例えばビットレート）が無線通信装置２０の最大通信速度を超えることによるストリームデータの欠落を回避できる。

＜その他の変形例＞
上述したデータ送信装置１００の構成は一例である。例えば、データ送信装置１００は、レート検出部１１３及びデータ付加部１１４を有しなくてよい。或いは、データ送信装置１００は、遅延多重判定部１１１を有さず、多重化部１１２において上述した遅延多重処理を行わなくてもよい。

（本開示のまとめ）
本開示の一態様に係るデータ送信装置１００は、受信部１０１、制御部１０２、及び、送信部１０３を備える。受信部１０１は、第１動画データを構成する第１画像フレーム及び第２動画データを構成する第２画像フレームを受信する。制御部１０２は、第１画像フレーム及び第２画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第１閾値未満である場合、第１画像フレーム及び第２画像フレームを多重して多重化データを生成し、第１画像フレーム及び第２画像フレームの両方の単位時間当たりのデータ量が、予め定められた第１閾値以上である場合、第２画像フレームの多重のタイミングを遅延させて多重化データを生成し、多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成する。送信部１０３は、ストリームデータを送信する。この構成により、ストリームデータの一部の単位時間当たりのデータ量が無線通信において単位時間当たりに送信可能なデータ量（最大通信速度）を超えることを抑止できる。よって、無線通信におけるストリームデータの欠落を抑止できる。

制御部１０２は、多重化データの単位時間当たりのデータ量が予め定めされた第２閾値未満の場合、多重化データに対してダミーデータを付加し、ダミーデータ付きの多重化データが一定量蓄積された場合、当該蓄積されたデータに対して前記誤り訂正符号化の処理を行ってよい。この構成により、短時間で誤り訂正符号化の処理単位分のデータが蓄積される。よって、ストリームデータの送信開始の遅延を低減できる。

制御部１０２は、ダミーデータ付きの多重化データの単位時間当たりのデータ量が第２閾値を超えない範囲で、多重化データに対して前記ダミーデータを付加してよい。この構成により、ダミーデータを付加した場合のストリームデータの単位時間当たりのデータ量が無線通信の最大通信速度を超えることを抑止できる。よって、無線通信におけるストリームデータの欠落を抑止できる。

制御部１０２は、多重化データの単位時間当たりのデータ量が予め定められた第２閾値未満の場合、誤り訂正符号化の処理において、誤り訂正用の冗長データのデータ量を増やしてよい。この構成により、誤り訂正符号化の処理単位分のデータの蓄積を待つこと無く、誤り訂正符号化の処理を開始できる。よって、ストリームデータの送信開始の遅延を低減できる。

第１閾値は、動画データにおける基準画像フレームの単位時間当たりのデータ量よりも小さく、かつ、動画データにおける差分画像フレームの単位時間当たりのデータ量よりも大きい値であってよい。

本開示の一態様に係るデータ送信システム１は、第１カメラ装置１０、第２カメラ装置１０、データ送信装置１００、及び、無線通信装置２０を備える。第１カメラ装置１０は、第１動画データを構成する第１画像フレームを送信する。第２カメラ装置１０は、第２動画データを構成する第２画像フレームを送信する。データ送信装置１００は、第１画像フレーム及び第２画像フレームを受信し、第１画像フレーム及び第２画像フレームを多重して多重化データを生成し、多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成し、ストリームデータを送信する。無線通信装置２０は、ストリームデータを無線通信によって端末２００へ送信する。ここで、第２カメラ装置１０は、単位時間当たりのデータ量が予め定められた第１閾値以上である第２画像フレームを、単位時間当たりのデータ量が第１閾値以上である第１画像フレームと異なるタイミングで送信する。この構成により、ストリームデータの一部の単位時間当たりのデータ量が無線通信において単位時間当たりに送信可能なデータ量（最大通信速度）を超えることを抑止できる。よって、無線通信におけるストリームデータの欠落を抑止できる。

無線通信装置２０は、ストリームデータをマルチキャストによって端末２００へ送信してもよい。これにより、同時に複数の端末２００に対してストリームデータを送信することができるため、端末２００の数が増加しても伝送遅延を発生しにくくすることができる。なお、端末２００の数が少ない場合や、端末２００からのフィードバックを受けてストリームデータの品質の制御等を行う場合、無線通信装置２０は、ストリームデータをユニキャストで送信してもよい。

本開示の一態様に係るデータ送信装置１００は、次の処理を実行する。すなわち、データ送信装置１００は、第１画像フレーム及び第２画像フレームを受信し、第１画像フレーム及び第２画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第１閾値未満である場合、第１画像フレーム及び第２画像フレームを多重して多重化データを生成し、第１画像フレーム及び第２画像フレームの両方の単位時間当たりのデータ量が、予め定められた第１閾値以上である場合、第２画像フレームの多重のタイミングを遅延させて多重化データを生成し、多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成し、ストリームデータを送信する。この方法により、ストリームデータの一部の単位時間当たりのデータ量が無線通信において単位時間当たりに送信可能なデータ量（最大通信速度）を超えることを抑止できる。よって、無線通信におけるストリームデータの欠落を抑止できる。

以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述したデータ送信装置１００、及び、端末２００の機能は、コンピュータプログラムにより実現され得る。

図１０は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ２１００は、キーボード、マウス、タッチペン及び／又はタッチパッドなどの入力装置２１０１、ディスプレイ又はスピーカーなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＧＰＵ（Graphics Processing Unit）２１０４、ＲＯＭ（Read Only Memory）２１０５、ＲＡＭ（Random Access Memory）２１０６、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置２１０７、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０８、ネットワークを介して通信を行う送受信装置２１０９を備え、各部はバス２１１０により接続される。

そして、読取装置２１０８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０７に記憶させる。あるいは、送受信装置２１０９が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置２１０７に記憶させる。

そして、ＣＰＵ２１０３が、記憶装置２１０７に記憶されたプログラムをＲＡＭ２１０６にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０６から順次読み出して実行することにより、上記各装置の機能が実現される。

例えば、図２に示すデータ送信装置１００において、受信部１０１及び送信部１０３は送受信装置２１０９によって実現され、制御部１０２はＣＰＵ２１０３によって実現される。例えば、図３に示す端末２００において、受信部２０１は送受信装置２１０９によって実現され、制御部２０２はＣＰＵ２１０３によって実現される。

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。

上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。

通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Internet of Things）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。

通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。

また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサー等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサーが含まれる。

また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。

本開示の一態様は、動画データを送信するためのシステムに有用である。

１ データ送信システム
１０ カメラ装置
２０ 無線通信装置
１００ データ送信装置
１０１ 受信部
１０２ 制御部
１０３ 送信部
１１１ 遅延多重判定部
１１２ 多重化部
１１３ レート検出部
１１４ データ付加部
１１５ 誤り訂正符号化部
２００ 端末
２０１ 受信部
２０２ 制御部
２１１ 誤り訂正復号部
２１２ 逆多重化部
２１３ 動画データ選択部
２１４ 再生部

Claims (9)

1. 第１画像フレーム及び第２画像フレームを受信する受信部と、
   前記第１画像フレーム及び前記第２画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第１閾値未満である場合、前記第１画像フレーム及び前記第２画像フレームを多重して多重化データを生成し、前記第１画像フレーム及び前記第２画像フレームの両方の単位時間当たりのデータ量が、予め定められた第１閾値以上である場合、前記第２画像フレームの多重のタイミングを遅延させて多重化データを生成し、前記多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成する制御部と、
   前記ストリームデータを送信する送信部と、
   を備える、データ送信装置。
2. 前記制御部は、
   前記多重化データの単位時間当たりのデータ量が予め定めされた第２閾値未満の場合、前記多重化データに対してダミーデータを付加し、
   前記ダミーデータ付きの多重化データが一定量蓄積された場合、当該蓄積されたデータに対して前記誤り訂正符号化の処理を行う、
   請求項１に記載のデータ送信装置。
3. 前記制御部は、前記ダミーデータ付きの多重化データの単位時間当たりのデータ量が前記第２閾値を超えない範囲で、前記多重化データに対して前記ダミーデータを付加する、
   請求項２に記載のデータ送信装置。
4. 前記制御部は、前記ストリームデータの送信と異なるサービスのデータを送信する場合、前記多重化データに対して、前記ダミーデータに代えて、前記サービスのデータを付加する、
   請求項２に記載のデータ送信装置。
5. 前記制御部は、前記多重化データの単位時間当たりのデータ量が予め定められた第２閾値未満の場合、前記誤り訂正符号化の処理において、誤り訂正用の冗長データのデータ量を、前記多重化データの単位時間当たりのデータ量が予め定められた第２閾値以上の場合と比べて増やす、
   請求項１に記載のデータ送信装置。
6. 前記第１閾値は、動画データにおける基準の画像フレームの単位時間当たりのデータ量よりも小さく、かつ、前記動画データにおける前記基準の画像フレームに対する差分の画像フレームの単位時間当たりのデータ量よりも大きい値である、
   請求項１に記載のデータ送信装置。
7. 第１画像フレームを送信する第１カメラ装置と、
   第２画像フレームを送信する第２カメラ装置と、
   前記第１画像フレーム及び前記第２画像フレームを受信し、前記第１画像フレーム及び前記第２画像フレームを多重して多重化データを生成し、前記多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成し、前記ストリームデータを送信するデータ送信装置と、
   前記ストリームデータを無線通信によって端末へ送信する無線通信装置と、を備え、
   前記第２カメラ装置は、単位時間当たりのデータ量が予め定められた第１閾値以上である第２画像フレームを、単位時間当たりのデータ量が前記第１閾値以上である第１画像フレームと異なるタイミングで送信する、
   データ送信システム。
8. 前記無線通信装置は、前記ストリームデータをマルチキャストによって前記端末へ送信する、
   請求項７に記載のデータ送信システム。
9. データ送信装置が、
   第１画像フレーム及び第２画像フレームを受信し、
   前記第１画像フレーム及び前記第２画像フレームの少なくとも一方の単位時間当たりのデータ量が、予め定められた第１閾値未満である場合、前記第１画像フレーム及び前記第２画像フレームを多重して多重化データを生成し、前記第１画像フレーム及び前記第２画像フレームの両方の単位時間当たりのデータ量が、予め定められた第１閾値以上である場合、前記第２画像フレームの多重のタイミングを遅延させて多重化データを生成し、前記多重化データが一定量蓄積された場合、当該蓄積されたデータに対して誤り訂正符号化の処理を行ってストリームデータを生成し、
   前記ストリームデータを送信する、
   データ送信方法。
   

Images