JP2016134673A - 送信装置、送信方法、及びプログラム - Google Patents
送信装置、送信方法、及びプログラム Download PDFInfo
- Publication number
- JP2016134673A JP2016134673A JP2015006697A JP2015006697A JP2016134673A JP 2016134673 A JP2016134673 A JP 2016134673A JP 2015006697 A JP2015006697 A JP 2015006697A JP 2015006697 A JP2015006697 A JP 2015006697A JP 2016134673 A JP2016134673 A JP 2016134673A
- Authority
- JP
- Japan
- Prior art keywords
- error correction
- content data
- data
- communication status
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims description 92
- 238000012937 correction Methods 0.000 claims abstract description 253
- 238000004891 communication Methods 0.000 claims abstract description 167
- 238000011084 recovery Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 239000000872 buffer Substances 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
【課題】無線MRシステムにおいて、無線通信状況が悪化し、パケットロスや遅延が発生すると、出力映像が乱れ、ユーザに不快感を与える。特に、左目、又は右目に対応する映像のどちらか一方の出力映像が連続して乱れる、又は更新されない場合、ユーザに大きな不快感を与える。【解決手段】送信装置と受信装置との間の通信状況を把握する通信状況把握手段と、通信状況に基づいて、送信されたコンテンツデータのうち受信装置が正常に受信しなかったコンテンツデータを受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、第1、第2のコンテンツデータそれぞれに対して設定する設定手段と、第1、第2のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第1、第2の誤り訂正用データを生成する誤り訂正データ生成手段と、第1、第2のコンテンツデータ、第1、第2の誤り訂正用データを受信装置に送信する送信手段と、を備える送信装置。【選択図】 図7
Description
本発明は、送信装置、送信方法、及びプログラムに関する。
現在、現実世界と仮想空間をリアルタイム且つシームレスに融合するMR(Mixed Reality: 複合現実)システムが利用されてきている。MRシステムを実現する方法の一つとして、ビデオシースルー方式がある。ビデオシースルー方式の一例として、まず、HMD(Head Mounted Display:頭部装着型表示装置)に付属している左目及び右目に対応する二つのビデオカメラでHMDユーザの視界領域をそれぞれ撮像する。次に、その撮像映像にCG(Computer Graphics)を重畳する。最後に、CGを重畳した映像をHMDに付属している左目及び右目に対応する二つのディスプレイにより観察する。
撮像映像にCGを重畳する処理は計算処理コストが大きいため、PCなどの外部装置と接続し、一旦撮像映像を外部装置に送信し、外部装置上でCGを重畳し、それをHMDに送り返してから表示したりする。このような場合に、HMDユーザは自由に動きながらMR空間を体験するために、HMDとCGを重畳する外部装置とは無線で通信することが望ましい。しかし、一般的に、無線通信は有線通信に比較して通信帯域が狭く、通信上でのパケットロスや遅延も発生しやすい。パケットロスや遅延等の通信エラーが発生すると、HMDに送り返される映像が正常に出力できず、映像が乱れたり、映像が長時間更新されなかったりすることがある。
通信エラーに対する耐性を高める技術として、前方誤り訂正(FEC: Forward Error Correction)技術がある。誤り訂正技術では、データパケットに対して冗長な誤り訂正パケットを生成し、データパケットと共に誤り訂正パケットも送信するため、通信帯域を余計に使用する。そのため、有限な通信帯域に対して、生成、送信できる誤り訂正パケット量は限られる。従って、限られた誤り訂正符号資源を通信状況やデータの重要度等に応じて適用制御する必要がある。例えば、特許文献1には、MRシステムと同様に左右の映像データを送信するシステムにおいて、重要なデータに誤り訂正技術を適用する方法が開示されている。
上述したMRシステムにおいては、左目及び右目に対応する二つの映像をそれぞれに対応する二つのディスプレイにより観察するため、左目映像と右目映像の二つの映像データが存在する。通常、二つの映像データに誤り訂正符号資源を均等に割り当てることで、左右映像の通信エラー耐性を高め、左右映像が正常に出力されることを期待する。
しかしながら、通信状況が悪化し、左右の映像に割り当てた誤り訂正符号資源だけでは通信エラー耐性が不十分となった場合、左右の両映像が乱れたり、両映像が長時間更新されなかったりすると、ユーザに大きな不快感を与えてしまう。
本発明は上述した問題を解決するためになされたものであり、まず、誤り訂正符号資源を割り当てる誤り訂正適用レベルを少なくとも二レベル以上用意する。次に、通信状況の変化に応じて左目、及び右目に対応する映像フレームパケットに対する誤り訂正適用レベルを少なくとも一フレーム以上の周期で切り替える。これにより、左右の映像データに対する通信エラー耐性が周期的に切り替わり、左右両映像、又は左右映像のどちらか一方の映像だけの映像品質が長期間低下する状況の発生率を低減することを可能とする送信装置及び送信方法を提供することを目的とする。
しかしながら、通信状況が悪化し、左右の映像に割り当てた誤り訂正符号資源だけでは通信エラー耐性が不十分となった場合、左右の両映像が乱れたり、両映像が長時間更新されなかったりすると、ユーザに大きな不快感を与えてしまう。
本発明は上述した問題を解決するためになされたものであり、まず、誤り訂正符号資源を割り当てる誤り訂正適用レベルを少なくとも二レベル以上用意する。次に、通信状況の変化に応じて左目、及び右目に対応する映像フレームパケットに対する誤り訂正適用レベルを少なくとも一フレーム以上の周期で切り替える。これにより、左右の映像データに対する通信エラー耐性が周期的に切り替わり、左右両映像、又は左右映像のどちらか一方の映像だけの映像品質が長期間低下する状況の発生率を低減することを可能とする送信装置及び送信方法を提供することを目的とする。
上記目的を達成するための一手段として、本発明の送信装置は以下の構成を備える。
すなわち、第1のコンテンツデータと前記第2のコンテンツデータとを、受信装置に送信する送信装置であって、
前記送信装置と、前記受信装置との間の通信状況を把握する通信状況把握手段と、
前記通信状況に基づいて、前記送信されたコンテンツデータのうち前記受信装置が正常に受信しなかったコンテンツデータを前記受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、前記第1のコンテンツデータ、前記第2のコンテンツデータそれぞれに対して設定する設定手段と、
前記第1のコンテンツデータおよび前記第2のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第1の誤り訂正用データ及び第2の誤り訂正用データを生成する誤り訂正データ生成手段と、
前記第1のコンテンツデータ、前記第2のコンテンツデータ、前記第1の誤り訂正用データ、前記第2の誤り訂正用データを前記受信装置に送信する送信手段と、を備えることを特徴とする。
すなわち、第1のコンテンツデータと前記第2のコンテンツデータとを、受信装置に送信する送信装置であって、
前記送信装置と、前記受信装置との間の通信状況を把握する通信状況把握手段と、
前記通信状況に基づいて、前記送信されたコンテンツデータのうち前記受信装置が正常に受信しなかったコンテンツデータを前記受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、前記第1のコンテンツデータ、前記第2のコンテンツデータそれぞれに対して設定する設定手段と、
前記第1のコンテンツデータおよび前記第2のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第1の誤り訂正用データ及び第2の誤り訂正用データを生成する誤り訂正データ生成手段と、
前記第1のコンテンツデータ、前記第2のコンテンツデータ、前記第1の誤り訂正用データ、前記第2の誤り訂正用データを前記受信装置に送信する送信手段と、を備えることを特徴とする。
以上の構成からなる本発明によれば、誤り訂正符号資源を割り当てる誤り訂正適用レベルを少なくとも二レベル以上用意し、左目、及び右目に対応する映像フレームパケットに対する誤り訂正適用レベルを少なくとも一フレーム以上の周期で切り替える。これにより、左右の映像データに対する通信エラー耐性が周期的に切り替わり、左右両映像、又は左右映像のどちらか一方の映像だけの映像品質が長期間低下する状況の発生率を低減することが可能となる。
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
[実施例1]
本実施例のMRシステムでは、HMD(頭部装着型表示装置)に搭載されたカメラで撮像した映像データとそれを保護する誤り訂正符号データを外部PCに送信し、外部PCにてCGを重畳した映像データを送り返してもらい、それをHMDに搭載されたディスプレイにて表示する。
本実施例のMRシステムでは、HMD(頭部装着型表示装置)に搭載されたカメラで撮像した映像データとそれを保護する誤り訂正符号データを外部PCに送信し、外部PCにてCGを重畳した映像データを送り返してもらい、それをHMDに搭載されたディスプレイにて表示する。
図1は、本実施例で説明する無線MRシステムの構成図である。
無線MRシステムのユーザ101はHMD200を装着している。HMD200の詳細なハードウェア構成については、図2の説明にて後述する。
アクセスポイント102はHMD200と無線通信で接続される。
右目撮像フレームパケット群103はHMD200における右目映像撮像部201で撮像されたデータのパケット群である。
左目撮像フレームパケット群104はHMD200における左目映像撮像部202で撮像されたデータのパケット群である。
無線MRシステムのユーザ101はHMD200を装着している。HMD200の詳細なハードウェア構成については、図2の説明にて後述する。
アクセスポイント102はHMD200と無線通信で接続される。
右目撮像フレームパケット群103はHMD200における右目映像撮像部201で撮像されたデータのパケット群である。
左目撮像フレームパケット群104はHMD200における左目映像撮像部202で撮像されたデータのパケット群である。
外部PC105はHMD200から受信した右目撮像フレームパケット群103及び左目撮像フレームパケット群104に適切なCGを重畳する。当該外部PCとアクセスポイント102は有線LAN(Local Area Network)等で接続されるが、無線でも構わないし、LANでなくてもよい。
右目映像フレームパケット群106は外部PC105でCGを重畳された右目映像フレームパケット群である。
左目映像フレームパケット群107は外部PC105でCGを重畳された左目映像フレームパケット群である。
右目映像フレームパケット群106は外部PC105でCGを重畳された右目映像フレームパケット群である。
左目映像フレームパケット群107は外部PC105でCGを重畳された左目映像フレームパケット群である。
図2は、図1におけるHMD200のハードウェア構成ブロック図である。
右目映像撮像部201は、ユーザ101の右目で見えている視野映像を撮像するカメラである。
左目映像撮像部202は、ユーザ101の左目で見えている視野映像を撮像するカメラである。
右目映像撮像部201及び左目映像撮像部202は、第1の映像フレームデータ及び第2の映像フレームデータを取得する映像フレーム取得手段に相当する。
右目映像撮像部201は、ユーザ101の右目で見えている視野映像を撮像するカメラである。
左目映像撮像部202は、ユーザ101の左目で見えている視野映像を撮像するカメラである。
右目映像撮像部201及び左目映像撮像部202は、第1の映像フレームデータ及び第2の映像フレームデータを取得する映像フレーム取得手段に相当する。
右目映像表示部203は、CG重畳外部PC105でCGを重畳した右目映像を表示するディスプレイである。
左目映像表示部204は、CG重畳外部PC105でCGを重畳した左目映像を表示するディスプレイである。
ネットワークインタフェース205は、インターネットや公衆無線、LANと接続できるインタフェースである。
左目映像表示部204は、CG重畳外部PC105でCGを重畳した左目映像を表示するディスプレイである。
ネットワークインタフェース205は、インターネットや公衆無線、LANと接続できるインタフェースである。
CPU(Central Processing Unit)206は、各ハードウェア構成部を統括的に制御する。
ROM(Read Only Memory)207は、CPU206で実行される制御プログラム等を格納している。
RAM(Random Access Memory)208は、CPU206の主メモリ、ワークエリア等として機能する。
ROM(Read Only Memory)207は、CPU206で実行される制御プログラム等を格納している。
RAM(Random Access Memory)208は、CPU206の主メモリ、ワークエリア等として機能する。
エンコーダ209は、右目映像撮像部201及び左目映像撮像部202で撮像された映像データを特定の符号化方式、例えばJPEG(Joint Photographic Expert Group)やH.264/AVC(ISO/IEC 14496-10 MPEG-4 Part10 Advanced Video Coding)、H.264/MVC(Multi-view Video Coding)等に応じて圧縮する処理を行う。本実施例では、JPEG方式で符号化する場合を想定して説明するがその他の方式の場合でも本発明の適用は可能である。H.264/MVCのように左右の視差情報や動きベクトルを用いた符号化方式での実施形態として、実施例2で説明する。また、各撮像部で撮像された映像データを圧縮せずにパケット化し、CG重畳外部PC105に送信してもよく、その場合、エンコーダ209はシステムに含まれない、又は使用されない。また、エンコーダ209はソフトウェアで実装してもよい。
エンコーダ209は、符号化手段、映像フレームパケット生成手段および誤り訂正パケット生成手段に相当する。符号化手段は、第1、第2の映像フレームデータのそれぞれを符号化して第1、第2の映像フレーム符号化データとする。映像フレームパケット生成手段は、第1、第2の映像フレーム符号化データのそれぞれをパケット化して第1、第2の映像フレームパケットを生成する。誤り訂正パケット生成手段は、第1、第2の映像フレームパケット群のそれぞれに対して選択した誤り訂正強度で第1の誤り訂正パケット及び第2の誤り訂正パケットを生成する。
デコーダ210は、CG重畳外部PC105から受信した右目映像フレームパケット106及び左目映像フレームパケット107を、特定の復号化方式に応じて伸張する処理を行う。ここでの復号化方式は、CG重畳外部PC105が圧縮で用いる符号化方式に依存するが、エンコーダ209で使用する符号化方式と同じ方式でもよいし、異なる方式でもよい。また、エンコーダ209同様、受信する映像フレームデータは圧縮されていないRAWデータでもよく、その場合、デコーダ210はシステムに含まれない、又は使用されない。また、デコーダ210はソフトウェアで実装してもよい。
バス211は各種データの転送経路となる。
バス211は各種データの転送経路となる。
図3は、パケット送受信プログラムのモジュール構成図である。
パケット生成部301は、エンコーダ209から入力された映像符号化データを通信プロトコルに応じてパケット化する。無線MRシステムはリアルタイム性の要求が高いため、RTP(A Transport Protocol for Real-Time Applications, RFC3550, IETF)/UDP(User Datagram Protocol)のような通信プロトコルが好適であるが、これ以外の通信プロトコルでもよいし、独自プロトコルでもよい。パケット生成部301は、符号化済みのコンテンツデータを通信に適したサイズに分割し、さらに通信するために必要なヘッダを付加してRTPのデータパケットを生成する。
なお、本形態ではコンテンツデータが動画データである場合について説明するが、それ以外のデータ(例えば音声データ)であっても本発明は適用可能である。また、本形態では、データをRTPプロトコルで送信する例を中心に説明するが、そのほかのプロトコルで送信するようにしてもよい。
パケット生成部301は、エンコーダ209から入力された映像符号化データを通信プロトコルに応じてパケット化する。無線MRシステムはリアルタイム性の要求が高いため、RTP(A Transport Protocol for Real-Time Applications, RFC3550, IETF)/UDP(User Datagram Protocol)のような通信プロトコルが好適であるが、これ以外の通信プロトコルでもよいし、独自プロトコルでもよい。パケット生成部301は、符号化済みのコンテンツデータを通信に適したサイズに分割し、さらに通信するために必要なヘッダを付加してRTPのデータパケットを生成する。
なお、本形態ではコンテンツデータが動画データである場合について説明するが、それ以外のデータ(例えば音声データ)であっても本発明は適用可能である。また、本形態では、データをRTPプロトコルで送信する例を中心に説明するが、そのほかのプロトコルで送信するようにしてもよい。
パケット送信部302は、パケット生成部301から受け取ったパケットをネットワークインタフェース205経由で、所定の通信プロトコルによりCG重畳外部PC105に送信する。
右目映像フレームパケットバッファ303は、パケット生成部301でパケット化された右目映像フレームパケットを一時的に格納するバッファである。
左目映像フレームパケットバッファ304は、パケット生成部301でパケット化された左目映像フレームパケットを一時的に格納するバッファである。
右目映像フレームパケットバッファ303は、パケット生成部301でパケット化された右目映像フレームパケットを一時的に格納するバッファである。
左目映像フレームパケットバッファ304は、パケット生成部301でパケット化された左目映像フレームパケットを一時的に格納するバッファである。
誤り訂正符号化部305、306、307は、パケット生成部301により生成されたパケットのデータに従って復元用パケット(FECパケット)を生成する。誤り訂正符号化部は、誤り訂正データ生成手段の一例である。FECパケットは、外部PC105(受信装置)が正常に受信しなかったコンテンツデータを外部PC105が復元するために用いる復元用データである。復元用データは、誤り訂正用データの一例である。誤り訂正符号化部305、306、307は、例えば、コンテンツデータに対する排他的論理輪の演算により、FECパケットを生成する。誤り訂正符号化部305、306、307は、誤り訂正適用レベルが異なる。誤り訂正符号化部305、306、307は、右目映像フレームパケットバッファ303、又は左目映像フレームパケットバッファ304から入力される映像フレームパケット群から特定の誤り訂正符号化方式に応じて誤り訂正符号を生成する。本実施例では、レベルを三段階で設定できるようにしているが、二段階でもよいし、四段階以上でもよい。ここでは、レベル1、レベル2、レベル3の順番で誤り訂正強度が強いものとして説明する。誤り訂正符号化方式として、例えば、排他的論理和演算によるパリティ方式やリードソロモン符号化方式、低密度パリティ検査符号化方式等があるが、誤り訂正強度を設定できる符号化方式であればどのような方式でもよい。また、当該誤り訂正符号化部は、通信プロトコルに応じたパケット生成部も含む。パケット化された誤り訂正パケットは、パケット送信部302によりCG重畳外部PC105に送信される
パケット受信部308は、CG重畳外部PC105からネットワークインタフェース205を介してパケットを受信する。ここで受信するパケットは、大きく二種類に分かれ、一つはHMDの撮像映像にCGが重畳された映像フレームパケットで、もう一つは通信状況を把握するためのレポートパケットである。レポートパケットは、例えば、RTCP(Real-time Transport Control Protocol)のReceiver ReportやSender Reportのようにエラーレートや遅延情報を把握できるプロトコルを利用してもよいし、独自プロトコルでもよい。
本実施例では、誤り訂正符号化部305、306、307で生成した誤り訂正パケットによる誤り訂正の結果を通知されるものとして説明するが、これに限らない。
パケット受信部308は、受信装置から通信状況を知らせるレポートパケットを受信するレポートパケット受信手段と、受信装置から映像フレームパケットを受信する映像フレームパケット受信手段とに相当する。
本実施例では、誤り訂正符号化部305、306、307で生成した誤り訂正パケットによる誤り訂正の結果を通知されるものとして説明するが、これに限らない。
パケット受信部308は、受信装置から通信状況を知らせるレポートパケットを受信するレポートパケット受信手段と、受信装置から映像フレームパケットを受信する映像フレームパケット受信手段とに相当する。
また、CG重畳外部PC105においても誤り訂正パケットを生成、送信してもよく、その場合は、本機能において誤り訂正パケットも受信する。CGが重畳された映像フレームパケットはデコーダ210に出力され、デコード結果としての右目映像フレームは右目映像表示部203に、左目映像フレームは左目映像表示部204にそれぞれ出力される。通信状況を把握するためのレポートパケットは通信状況把握部309に出力される。
通信状況把握部309は、パケット受信機能308から入力されたレポートパケットの内容(例えば、通信エラー情報)から通信状況を把握する。本実施例ではレポートパケットを使用しているが、デコーダ210におけるデコード結果から通信状況を把握してもよい。通信状況の把握方法の具体例は図5の説明にて後述する。
誤り訂正レベル切り替え部310は、通信状況把握部309から入力された通信状況に応じて右目映像フレームパケットバッファ303及び左目映像フレームパケットバッファ304の出力先となる誤り訂正符号化機能のレベルを切り替える。レベル切り替え方法の具体例は図4の説明にて後述する。
誤り訂正レベル切り替え部310は、第1の映像フレームパケット群及び第2の映像フレームパケット群のそれぞれに対して設定した誤り訂正強度の中から適用する強度を選択する強度選択手段に相当する。誤り訂正レベル切り替え部310は、所定の間隔(少なくとも一フレーム以上の周期)で、第1の映像フレームパケット群と第2の映像フレームパケット群に適用する誤り訂正強度を切り替える。
誤り訂正レベル切り替え部310は、通信状況把握部309から入力された通信状況に応じて右目映像フレームパケットバッファ303及び左目映像フレームパケットバッファ304の出力先となる誤り訂正符号化機能のレベルを切り替える。レベル切り替え方法の具体例は図4の説明にて後述する。
誤り訂正レベル切り替え部310は、第1の映像フレームパケット群及び第2の映像フレームパケット群のそれぞれに対して設定した誤り訂正強度の中から適用する強度を選択する強度選択手段に相当する。誤り訂正レベル切り替え部310は、所定の間隔(少なくとも一フレーム以上の周期)で、第1の映像フレームパケット群と第2の映像フレームパケット群に適用する誤り訂正強度を切り替える。
図4は、誤り訂正レベル切り替え部310における誤り訂正レベル切り替え処理の流れを示すフローチャートである。
S401では、通信状況を判定する。これは、通信状況把握部309における判定処理であり、詳細は図5で説明する。
S402では、S401の通信状況判定処理結果に応じて分岐する。通信状況が良いと判定された場合、S403に移行し、通信状況が悪いと判定された場合、S404に移行する。
S401では、通信状況を判定する。これは、通信状況把握部309における判定処理であり、詳細は図5で説明する。
S402では、S401の通信状況判定処理結果に応じて分岐する。通信状況が良いと判定された場合、S403に移行し、通信状況が悪いと判定された場合、S404に移行する。
S403では、レベル2の誤り訂正強度が適用される。この場合、右目映像フレームパケットか左目映像フレームパケットかに関わらず両パケットバッファの出力先がレベル2誤り訂正符号化部306となり、誤り訂正レベル切り替え処理を終了する。
S404では、映像フレームパケットが右目映像か左目映像かに応じて分岐する。右目映像の場合はS405に移行し、左目映像の場合はS406に移行する。
S404では、映像フレームパケットが右目映像か左目映像かに応じて分岐する。右目映像の場合はS405に移行し、左目映像の場合はS406に移行する。
S405では、フレーム番号が偶数か奇数かに応じて分岐する。フレーム番号が偶数の場合はS407に移行し、フレーム番号が奇数の場合はS408に移行する。
S406でもS405と同様に、フレーム番号が偶数か奇数かに応じて分岐する。フレーム番号が偶数の場合はS408に移行し、フレーム番号が奇数の場合はS407に移行する。
S406でもS405と同様に、フレーム番号が偶数か奇数かに応じて分岐する。フレーム番号が偶数の場合はS408に移行し、フレーム番号が奇数の場合はS407に移行する。
なお、S405、S406でフレーム番号が偶数か奇数かに応じて分岐処理を行っているが、これはあくまでも1フレーム単位で誤り訂正レベルを切り替える本実施形態における実装例に過ぎない。例えば、5フレーム単位で誤り訂正レベルを切り替える場合は、フレーム番号/5(小数点以下切捨て)が偶数か奇数かに応じて分岐処理を行うようにすればよい。
S407では、レベル3の誤り訂正強度が適用され、誤り訂正レベル切り替え処理を終了する。
S408では、レベル1の誤り訂正強度が適用され、誤り訂正レベル切り替え処理を終了する。
S408では、レベル1の誤り訂正強度が適用され、誤り訂正レベル切り替え処理を終了する。
なお、本誤り訂正レベル切り替え処理は、通信状況が悪いと判定された場合にレベルを切り替えるフレーム単位で行われる。本実施例では、1フレーム単位で切り替えるため、右目映像フレームパケットバッファ303及び左目映像フレームパケットバッファ304から出力されるフレームパケットのフレーム番号が変わる毎に切り替え処理が発生する。また、本実施例では、1フレーム単位で切り替えているが、2フレーム以上の単位で切り替えてもよい。2フレーム以上の単位で切り替える場合、S405及びS406での判定方法が変わる。更に、切り替えるフレーム単位は通信状況の変化やフレームレート等に応じて動的に変更してもよい。
図5は、通信状況把握部309における通信状況判定処理の流れを示すフローチャートである。
S501では、誤り訂正不可が有るかどうかに応じて分岐する。ここで、誤り訂正不可が有るかどうかは、最後に本判定処理を行ってから現在までの間に、CG重畳外部PC105から誤り訂正不可通知パケットを受信したかどうかで判定する。誤り訂正不可が有る場合はS502に移行し、誤り訂正不可が無い場合はS504に移行する。誤り訂正不可通知パケットは、誤り訂正パケットによる回復可否情報を含むレポートパケットの一例であって、誤り訂正パケットによっては回復ができないことを通知するパケットである。
S501では、誤り訂正不可が有るかどうかに応じて分岐する。ここで、誤り訂正不可が有るかどうかは、最後に本判定処理を行ってから現在までの間に、CG重畳外部PC105から誤り訂正不可通知パケットを受信したかどうかで判定する。誤り訂正不可が有る場合はS502に移行し、誤り訂正不可が無い場合はS504に移行する。誤り訂正不可通知パケットは、誤り訂正パケットによる回復可否情報を含むレポートパケットの一例であって、誤り訂正パケットによっては回復ができないことを通知するパケットである。
S502では、本判定処理の中で静的に保持している誤り訂正可カウンタを0に初期化し、S503に移行する。
S503では、通信状況が悪いと判定し、通信状況判定処理を終了する。
S504では、最後に本判定処理を行った際に判定した通信状況に応じて分岐する。前回の通信状況が良かった場合はS505に移行し、前回の通信状況が悪かった場合はS506に移行する。
S505では、通信状況が良いと判定し、通信状況判定処理を終了する。
S506では、誤り訂正可カウンタをインクリメントし、S507に移行する。
S503では、通信状況が悪いと判定し、通信状況判定処理を終了する。
S504では、最後に本判定処理を行った際に判定した通信状況に応じて分岐する。前回の通信状況が良かった場合はS505に移行し、前回の通信状況が悪かった場合はS506に移行する。
S505では、通信状況が良いと判定し、通信状況判定処理を終了する。
S506では、誤り訂正可カウンタをインクリメントし、S507に移行する。
S507では、誤り訂正可カウンタが閾値Nよりも大きいかどうかに応じて分岐する。誤り訂正可カウンタが閾値Nよりも大きい場合はS508に移行し、誤り訂正可カウンタが閾値N以下の場合はS503に移行する。誤り訂正可カウンタの値は、通信状況が悪いと判定されている間に連続で誤り訂正不可判定が無かった回数を意味しており、N+1回連続で誤り訂正不可判定が無かった場合は通信状況が良くなったと判定するようになる。閾値Nは予め定めた固定値でもよいし、通信状況やフレームレート等に応じて動的に変更してもよい。
S508では、誤り訂正可カウンタを0に初期化し、S505に移行する。
S508では、誤り訂正可カウンタを0に初期化し、S505に移行する。
図6は、通信状況が良いと判定されている場合の誤り訂正適用例を示す図である。ここでの映像フレームはHMD200から送信する映像フレームで、通信エラーはHMD200からCG重畳外部PC105までの通信経路で発生したエラーをそれぞれ示す。説明の簡素化のため、CG重畳外部PC105からHMD200に送り返される映像フレームパケットにはエラーが発生していないものとして説明する。仮に、CG重畳外部PC105からHMD200に送り返される映像フレームパケットにエラーが発生した場合は、S501において誤り訂正不可が有ったものと同じ判定をしてもよい。CG重畳外部PC105から送り返される映像フレームパケットにも誤り訂正パケットが付加されている場合、その誤り訂正処理結果もS501における誤り訂正不可判定に反映させてもよい。
右目及び左目の映像フレームがフレーム番号(1)から(6)まであり、それぞれレベル2の誤り訂正強度の誤り訂正パケットが付加されている。ここで、右目映像のフレーム(1)、(2)、(3)、(5)、(6)及び左目映像のフレーム(1)、(3)、(4)、(5)、(6)において、通信エラーが発生しているが、全てレベル2の誤り訂正強度で回復できる。そのため、全ての映像フレームが表示可能であり、S501の判定処理においても誤り訂正不可無と判定され、通信状況の変化も無いものとして処理が継続される。
図7は、図6に示した状態から通信状況が悪化した場合の誤り訂正適用例を示す図である。
前記の如く、右目映像フレーム(7)も左目映像フレーム(7)もHMD200からCG重畳外部PC105へ送信する映像フレームであって、レベル2の誤り訂正強度が適用され、右目映像フレーム(7)も左目映像フレーム(7)も通信エラーの数は2である。よって、最後に通信状況判定処理を行ってから現在までの間に、HMD200はCG重畳外部PC105から誤り訂正不可通知パケットを受信して無いと判定され、ステップS501はNoに分岐する。
前記の如く、右目映像フレーム(7)も左目映像フレーム(7)もHMD200からCG重畳外部PC105へ送信する映像フレームであって、レベル2の誤り訂正強度が適用され、右目映像フレーム(7)も左目映像フレーム(7)も通信エラーの数は2である。よって、最後に通信状況判定処理を行ってから現在までの間に、HMD200はCG重畳外部PC105から誤り訂正不可通知パケットを受信して無いと判定され、ステップS501はNoに分岐する。
フレーム(7)について通信状況判定処理を行った際に通信状況は良いと判定されたから、ステップS504はNoに分岐し、通信状況は良いと判定される(ステップS505)。
よって、図4のステップS402はNoに分岐し、次の映像フレーム、つまり右目映像フレーム(8)も左目映像フレーム(8)もレベル2の誤り訂正強度が適用される(ステップS403)。
よって、図4のステップS402はNoに分岐し、次の映像フレーム、つまり右目映像フレーム(8)も左目映像フレーム(8)もレベル2の誤り訂正強度が適用される(ステップS403)。
フレーム(8)までは通信状況の変化無と判定されているため、レベル2の誤り訂正強度の誤り訂正パケットが付加されているが、右目映像フレーム(8)において、レベル2の誤り訂正強度では回復できない通信エラーが発生している。これにより、CG重畳外部PC105から、フレーム(8)における誤り訂正不可通知パケットが、HMD200に対して送信される。HMD200では、誤り訂正不可通知パケットを受信したタイミングで通信状況の変化を検知し、次のフレーム(9)から通信状況が悪いと判定された場合の誤り訂正適用処理に変わる。
フレームレートやHMD200とCG重畳外部PC105間の通信距離等によって通信状況変化を検知できるタイミングが遅れる可能性もあり、必ずしも次のフレーム(9)から新しい誤り訂正適用処理に変更できるとは限らない。その場合は、通信状況変化を検知できたタイミングで誤り訂正適用処理も変更される。
フレーム(8)における誤り訂正不可通知パケットがHMD200に対して送信され、HMD200は通信状況の変化を検知し、次のフレーム(9)から通信状況が悪いと判定された場合の誤り訂正適用処理に変わる場合について具体的に説明する。
<フレーム(9)について>
HMD200がフレーム(8)における誤り訂正不可通知パケットを受信してステップS501がYesに分岐し、誤り訂正可カウンタが0に初期化され(ステップS502)、通信状況が悪いと判定される(ステップS503)。
その結果、図4のステップS402はYesに分岐する。
右目映像フレーム(9)については、ステップS404はYesに分岐し、ステップS405はNoに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
左目映像フレーム(9)については、ステップS404はNoに分岐し、ステップS406もNoに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
HMD200がフレーム(8)における誤り訂正不可通知パケットを受信してステップS501がYesに分岐し、誤り訂正可カウンタが0に初期化され(ステップS502)、通信状況が悪いと判定される(ステップS503)。
その結果、図4のステップS402はYesに分岐する。
右目映像フレーム(9)については、ステップS404はYesに分岐し、ステップS405はNoに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
左目映像フレーム(9)については、ステップS404はNoに分岐し、ステップS406もNoに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
右目映像フレーム(9)においては、エラーの数は1、誤り訂正強度はレベル1であるから、回復できない通信エラーは発生していない。
左目映像フレーム(9)においては、エラーの数は2、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
左目映像フレーム(9)においては、エラーの数は2、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
<フレーム(10)について>
右目映像フレーム(9)および左目映像フレーム(9)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(9)について通信状況判定処理を行った際に通信状況が悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は1となる。
本実施例では、図5における閾値Nを2とし、3フレーム連続で誤り訂正可、又はエラー無しの状況が続いたら、誤り訂正可カウンタは0に初期化され(ステップS508)、通信状況が回復したと判定される(ステップS505)。
ステップS507では、誤り訂正可カウンタの値が1であるから、Noに分岐し、ステップS503で通信状況が悪いと判定される。
右目映像フレーム(9)および左目映像フレーム(9)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(9)について通信状況判定処理を行った際に通信状況が悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は1となる。
本実施例では、図5における閾値Nを2とし、3フレーム連続で誤り訂正可、又はエラー無しの状況が続いたら、誤り訂正可カウンタは0に初期化され(ステップS508)、通信状況が回復したと判定される(ステップS505)。
ステップS507では、誤り訂正可カウンタの値が1であるから、Noに分岐し、ステップS503で通信状況が悪いと判定される。
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(10)については、ステップS404はYesに分岐し、ステップS405もYesに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
左目映像フレーム(10)については、ステップS404はNoに分岐し、ステップS406はYesに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
右目映像フレーム(10)については、ステップS404はYesに分岐し、ステップS405もYesに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
左目映像フレーム(10)については、ステップS404はNoに分岐し、ステップS406はYesに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
右目映像フレーム(10)においては、エラーの数は3、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
左目映像フレーム(10)においては、エラーの数は4、誤り訂正強度はレベル1であるから、回復できない通信エラーが発生している。
左目映像フレーム(10)においては、エラーの数は4、誤り訂正強度はレベル1であるから、回復できない通信エラーが発生している。
<フレーム(11)について>
誤り訂正不可は有ると判定され、図5のステップS501はYesに分岐する。
ステップS502で誤り訂正可カウンタは0に初期化され、ステップS503で通信状況が悪いと判定される。
誤り訂正不可は有ると判定され、図5のステップS501はYesに分岐する。
ステップS502で誤り訂正可カウンタは0に初期化され、ステップS503で通信状況が悪いと判定される。
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(11)については、ステップS404はYesに分岐し、ステップS405はNoに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
左目映像フレーム(11)については、ステップS404はNoに分岐し、ステップS406もNoに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
右目映像フレーム(11)については、ステップS404はYesに分岐し、ステップS405はNoに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
左目映像フレーム(11)については、ステップS404はNoに分岐し、ステップS406もNoに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
右目映像フレーム(11)においては、エラーの数は3、誤り訂正強度はレベル1であるから、回復できない通信エラーが発生している。
左目映像フレーム(11)においては、エラーの数は3、誤り訂正強度はレベル3であるから、回復できない通信エラーが発生していない。
左目映像フレーム(11)においては、エラーの数は3、誤り訂正強度はレベル3であるから、回復できない通信エラーが発生していない。
<フレーム(12)について>
誤り訂正不可は有ると判定され、図5のステップS501はYesに分岐する。
ステップS502で誤り訂正可カウンタは0に初期化され、ステップS503で通信状況が悪いと判定される。
誤り訂正不可は有ると判定され、図5のステップS501はYesに分岐する。
ステップS502で誤り訂正可カウンタは0に初期化され、ステップS503で通信状況が悪いと判定される。
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(12)については、ステップS404はYesに分岐し、ステップS405もYesに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
左目映像フレーム(12)については、ステップS404はNoに分岐し、ステップS406はYesに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
右目映像フレーム(12)については、ステップS404はYesに分岐し、ステップS405もYesに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
左目映像フレーム(12)については、ステップS404はNoに分岐し、ステップS406はYesに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
右目映像フレーム(12)においては、エラーの数は3、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
左目映像フレーム(12)においては、エラーの数は3、誤り訂正強度はレベル1であるから、回復できない通信エラーが発生している。
左目映像フレーム(12)においては、エラーの数は3、誤り訂正強度はレベル1であるから、回復できない通信エラーが発生している。
図8は、図7に示した状態から通信状況が回復した場合の誤り訂正適用例を示す図である。
本実施例では、前記の如く、図5における閾値Nを2とし、3フレーム連続で誤り訂正可、又はエラー無しの状況が続いたら、誤り訂正可カウンタは0に初期化され(ステップS508)、通信状況が回復したと判定される(ステップS505)。
本実施例では、前記の如く、図5における閾値Nを2とし、3フレーム連続で誤り訂正可、又はエラー無しの状況が続いたら、誤り訂正可カウンタは0に初期化され(ステップS508)、通信状況が回復したと判定される(ステップS505)。
<フレーム(13)について>
前記の如く、左目映像フレーム(12)において回復できない通信エラーが発生しているため、誤り訂正不可は有ると判定され、図5のステップS501はYesに分岐する。
ステップS502で誤り訂正可カウンタは0に初期化され、ステップS503で通信状況が悪いと判定される。
前記の如く、左目映像フレーム(12)において回復できない通信エラーが発生しているため、誤り訂正不可は有ると判定され、図5のステップS501はYesに分岐する。
ステップS502で誤り訂正可カウンタは0に初期化され、ステップS503で通信状況が悪いと判定される。
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(13)については、ステップS404はYesに分岐し、ステップS405はNoに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
左目映像フレーム(13)については、ステップS404はNoに分岐し、ステップS406もNoに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
右目映像フレーム(13)については、ステップS404はYesに分岐し、ステップS405はNoに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
左目映像フレーム(13)については、ステップS404はNoに分岐し、ステップS406もNoに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
右目映像フレーム(13)においては、エラーの数は1、誤り訂正強度はレベル1であるから、回復できない通信エラーは発生していない。
左目映像フレーム(13)においては、エラーの数は1、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
左目映像フレーム(13)においては、エラーの数は1、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
<フレーム(14)について>
右目映像フレーム(13)および左目映像フレーム(13)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(13)の通信状況判定処理を行った際に判定した通信状況(前回の通信状況)は悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は1となる。
ステップS507では、誤り訂正可カウンタの値が1であるから、Noに分岐し、ステップS503で通信状況が悪いと判定される。
右目映像フレーム(13)および左目映像フレーム(13)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(13)の通信状況判定処理を行った際に判定した通信状況(前回の通信状況)は悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は1となる。
ステップS507では、誤り訂正可カウンタの値が1であるから、Noに分岐し、ステップS503で通信状況が悪いと判定される。
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(14)については、ステップS404はYesに分岐し、ステップS405もYesに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
左目映像フレーム(14)については、ステップS404はNoに分岐し、ステップS406はYesに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
右目映像フレーム(14)については、ステップS404はYesに分岐し、ステップS405もYesに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
左目映像フレーム(14)については、ステップS404はNoに分岐し、ステップS406はYesに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
右目映像フレーム(14)においては、エラーの数は1、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
左目映像フレーム(14)においては、エラーの数は0、誤り訂正強度はレベル1であるから、回復できない通信エラーが発生していない。
左目映像フレーム(14)においては、エラーの数は0、誤り訂正強度はレベル1であるから、回復できない通信エラーが発生していない。
<フレーム(15)について>
右目映像フレーム(14)および左目映像フレーム(14)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(14)の通信状況判定処理を行った際に判定した通信状況(前回の通信状況)は悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は2となる。
ステップS507では、誤り訂正可カウンタの値が2であるから、Noに分岐し、ステップS503で通信状況が悪いと判定される。
右目映像フレーム(14)および左目映像フレーム(14)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(14)の通信状況判定処理を行った際に判定した通信状況(前回の通信状況)は悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は2となる。
ステップS507では、誤り訂正可カウンタの値が2であるから、Noに分岐し、ステップS503で通信状況が悪いと判定される。
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(15)については、右目映像フレーム(13)と同様に、レベル1の誤り訂正強度が適用される。
左目映像フレーム(15)については、左目映像フレーム(13)と同様に、レベル3の誤り訂正強度が適用される。
右目映像フレーム(15)については、右目映像フレーム(13)と同様に、レベル1の誤り訂正強度が適用される。
左目映像フレーム(15)については、左目映像フレーム(13)と同様に、レベル3の誤り訂正強度が適用される。
右目映像フレーム(15)においては、エラーの数は0、誤り訂正強度はレベル1であるから、回復できない通信エラーは発生していない。
左目映像フレーム(15)においては、エラーの数は1、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
左目映像フレーム(15)においては、エラーの数は1、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
<フレーム(16)について>
右目映像フレーム(15)および左目映像フレーム(15)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(15)の通信状況判定処理を行った際に判定した通信状況(前回の通信状況)は悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は3となる。
ステップS507では、誤り訂正可カウンタの値が3であるから、Yesに分岐し、ステップS508で誤り訂正可カウンタは0に初期化され、ステップS505で通信状況が良いと判定される。
右目映像フレーム(15)および左目映像フレーム(15)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(15)の通信状況判定処理を行った際に判定した通信状況(前回の通信状況)は悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は3となる。
ステップS507では、誤り訂正可カウンタの値が3であるから、Yesに分岐し、ステップS508で誤り訂正可カウンタは0に初期化され、ステップS505で通信状況が良いと判定される。
よって、図4のステップS402はNoに分岐する。
ステップS403で、右目映像フレーム(16)および左目映像フレーム(16)ともにレベル2の誤り訂正強度が適用される。
ステップS403で、右目映像フレーム(16)および左目映像フレーム(16)ともにレベル2の誤り訂正強度が適用される。
前記の如く、右目及び左目の映像フレームがフレーム(13)から(15)までの3フレーム連続で誤り訂正可、又はエラー無しの状況となる。これにより、CG重畳外部PC105からフレーム(15)の誤り訂正可通知パケットがHMD200に対して送信されたタイミングで、HMD200は通信状況の変化を検知する。続くフレーム(16)からは通信状況が良いと判定された場合の誤り訂正適用処理、即ちレベル2の誤り訂正強度の誤り訂正パケットが生成、送信される。
本実施例では、各誤り訂正レベルの強度を固定しているが、通信状況の変化に応じて動的に変更してもよい。
例えば、通常時は左目映像フレームパケット群に対する誤り訂正パケットも右目映像フレームパケット群に対する誤り訂正パケットも訂正強度を2に設定する。
そして、通信状況が悪化した場合は、左目映像フレームパケット群に対する誤り訂正パケット群又は右目映像フレームパケット群に対する誤り訂正パケットのいずれか一方の訂正強度を1に、他方の訂正強度を3に設定する。
そして、通信状況がさらに悪化した場合は、左目映像フレームパケット群に対する誤り訂正パケット群又は右目映像フレームパケット群に対する誤り訂正パケットのいずれか一方の訂正強度を2に、他方の訂正強度を6に設定してもよい。
例えば、通常時は左目映像フレームパケット群に対する誤り訂正パケットも右目映像フレームパケット群に対する誤り訂正パケットも訂正強度を2に設定する。
そして、通信状況が悪化した場合は、左目映像フレームパケット群に対する誤り訂正パケット群又は右目映像フレームパケット群に対する誤り訂正パケットのいずれか一方の訂正強度を1に、他方の訂正強度を3に設定する。
そして、通信状況がさらに悪化した場合は、左目映像フレームパケット群に対する誤り訂正パケット群又は右目映像フレームパケット群に対する誤り訂正パケットのいずれか一方の訂正強度を2に、他方の訂正強度を6に設定してもよい。
図9に通信状況がさらに悪化した場合における誤り訂正適用例を示す。同図に示す例では、通信状況のさらなる悪化を検知して、
右目映像フレーム(25)に適用するレベル1の誤り訂正強度を2とし、左目映像フレーム(25)に適用するレベル3の誤り訂正強度を6とし、
右目映像フレーム(26)に適用するレベル3の誤り訂正強度を6とし、左目映像フレーム(26)に適用するレベル1の誤り訂正強度を2としている。
右目映像フレーム(25)に適用するレベル1の誤り訂正強度を2とし、左目映像フレーム(25)に適用するレベル3の誤り訂正強度を6とし、
右目映像フレーム(26)に適用するレベル3の誤り訂正強度を6とし、左目映像フレーム(26)に適用するレベル1の誤り訂正強度を2としている。
また、誤り訂正強度の選択肢として、誤り訂正を適用しないという選択も含まれる。
例えば、通常時は、左右共に誤り訂正強度を2(エラー2個まで回復可能)とし、通信状況が悪化した場合は、左右いずれか一方の誤り訂正強度を4(エラー4個まで回復可能)とし、他方の誤り訂正強度を0とする。誤り訂正強度が0の場合には、誤り訂正パケットが生成されない場合が含まれる。
例えば、通常時は、左右共に誤り訂正強度を2(エラー2個まで回復可能)とし、通信状況が悪化した場合は、左右いずれか一方の誤り訂正強度を4(エラー4個まで回復可能)とし、他方の誤り訂正強度を0とする。誤り訂正強度が0の場合には、誤り訂正パケットが生成されない場合が含まれる。
図10に、通信状況が悪化した場合に、左目右目のいずれか一方に対応する映像フレームパケット群に対して、誤り訂正を適用しない例を示す。同図に示す例では、通信状況の悪化を検知して、
右目映像フレーム(34)には誤り訂正を適用せず、左目映像フレーム(34)に適用する誤り訂正強度を4とし、
右目映像フレーム(35)に適用する誤り訂正強度を4とし、左目映像フレーム(34)には誤り訂正を適用していない。
右目映像フレーム(34)には誤り訂正を適用せず、左目映像フレーム(34)に適用する誤り訂正強度を4とし、
右目映像フレーム(35)に適用する誤り訂正強度を4とし、左目映像フレーム(34)には誤り訂正を適用していない。
<強度設定手段が、二段階の誤り訂正強度を設定する場合>
また、通信状況が良いときは、
左目映像フレームパケット群と
左目映像フレームパケット群に対する誤り訂正パケット(訂正強度2)と
右目映像フレームパケット群と
右目映像フレームパケット群に対する誤り訂正パケット(訂正強度2)と
が生成され、送信されるが、
通信状況が悪いときは、
左目映像フレームパケット群と
左目映像フレームパケット群に対する誤り訂正パケット(訂正強度4)と
が生成され、送信されるが、
右目映像フレームパケット群も
右目映像フレームパケット群に対する誤り訂正パケットも
生成されず、送信されないとしても良い。
この場合は、強度設定手段が、「二」段階の誤り訂正強度を設定する場合である。
また、通信状況が良いときは、
左目映像フレームパケット群と
左目映像フレームパケット群に対する誤り訂正パケット(訂正強度2)と
右目映像フレームパケット群と
右目映像フレームパケット群に対する誤り訂正パケット(訂正強度2)と
が生成され、送信されるが、
通信状況が悪いときは、
左目映像フレームパケット群と
左目映像フレームパケット群に対する誤り訂正パケット(訂正強度4)と
が生成され、送信されるが、
右目映像フレームパケット群も
右目映像フレームパケット群に対する誤り訂正パケットも
生成されず、送信されないとしても良い。
この場合は、強度設定手段が、「二」段階の誤り訂正強度を設定する場合である。
また、本実施例では、HMD200から誤り訂正パケットを生成、送信する形態で説明したが、CG重畳外部PC105においても誤り訂正パケットを生成、送信する形態でも本発明を実施できる。また、HMD200からは誤り訂正パケットを生成、送信せずにCG重畳外部PC105からのみ誤り訂正パケットを生成、送信してもよい。その場合は、本発明をCG重畳外部PC105に適用することになる。更に、本実施例では無線MRシステムを例に説明したが、左右のステレオ映像データを、ネットワークを介して送信する形態のユースケース全般に適用することができる。
[実施例2]
本実施例では、左目及び右目に対応する映像フレームデータをH.264/MVCのように視差情報や動きベクトルを用いたフレーム間予測による映像符号化方式で圧縮された映像フレームデータにおいて、本発明を適用した例について説明する。
システム構成(図1)やハードウェア構成(図2)、モジュール構成(図3)については、実施例1と同様であるため、説明は省略する。
また、誤り訂正レベル切り替え処理(図4)や通信状況判定処理(図5)についても、処理の流れは実施例1と同様であるため、説明は省略する。
通信状況把握部309において、通信状況が良いと判定されている場合(図6)についても実施例1と同様であるため、説明は省略する。
本実施例では、左目及び右目に対応する映像フレームデータをH.264/MVCのように視差情報や動きベクトルを用いたフレーム間予測による映像符号化方式で圧縮された映像フレームデータにおいて、本発明を適用した例について説明する。
システム構成(図1)やハードウェア構成(図2)、モジュール構成(図3)については、実施例1と同様であるため、説明は省略する。
また、誤り訂正レベル切り替え処理(図4)や通信状況判定処理(図5)についても、処理の流れは実施例1と同様であるため、説明は省略する。
通信状況把握部309において、通信状況が良いと判定されている場合(図6)についても実施例1と同様であるため、説明は省略する。
図11(a)は、視差情報や動きベクトルを用いた参照型の映像符号化方式で圧縮された映像フレームデータの例である。図中のI、P、BはそれぞれI(Intra−coded)フレーム、P(Predicted)フレーム、B(Bi−directional Predicted)フレームを意味する。
Iフレームは、フレーム内符号化方式を用いて符号化され、PフレームとBフレームは、フレーム間符号化方式を用いて符号化される。Bフレームは左右映像の相関を用いて符号化される。MRシステムのように左右の二つの映像をフレーム間予測方式で符号化する場合、左右どちらかの映像に他フレームを参照しないIフレームが含まれる。
Iフレームは、フレーム内符号化方式を用いて符号化され、PフレームとBフレームは、フレーム間符号化方式を用いて符号化される。Bフレームは左右映像の相関を用いて符号化される。MRシステムのように左右の二つの映像をフレーム間予測方式で符号化する場合、左右どちらかの映像に他フレームを参照しないIフレームが含まれる。
MPEG(Moving Picture Experts Group)では、Iフレームからはじまるフレーム群をGOP(Group Of Pictures)として定義している。
本実施例では、GOP毎にIフレームを挿入する左右の映像を切り替える。901をGOP(1)、902をGOP(2)、903をGOP(3)とすると、GOP(1)901では右目映像にIフレームを適用し、GOP(2)902では左目映像にIフレームを適用、GOP(3)903では再び右目映像にIフレームを適用する。
本実施例では、各GOPのGOP長を4フレームとしている。このため、Iフレームを挿入する左右の映像の切り替え周期は4フレームとなるが、Iフレームを挿入する左右の映像の切り替え周期は4フレームに限らないし、通信状況やフレームレートに応じて動的に変更してもよい。
本実施例では、GOP毎にIフレームを挿入する左右の映像を切り替える。901をGOP(1)、902をGOP(2)、903をGOP(3)とすると、GOP(1)901では右目映像にIフレームを適用し、GOP(2)902では左目映像にIフレームを適用、GOP(3)903では再び右目映像にIフレームを適用する。
本実施例では、各GOPのGOP長を4フレームとしている。このため、Iフレームを挿入する左右の映像の切り替え周期は4フレームとなるが、Iフレームを挿入する左右の映像の切り替え周期は4フレームに限らないし、通信状況やフレームレートに応じて動的に変更してもよい。
図11(b)は、通信状況把握部309において、通信状況が悪いと判定されている場合に、誤り訂正を適用している例である。通信状況が悪いと判定されている場合、実施例1同様に、タイミングに応じて誤り訂正レベルを左右映像で切り替える。ここで、切り替えるタイミングはGOP単位となる。また、誤り訂正レベルの適用において、誤り訂正強度の強いレベルを、Iフレームを適用した映像フレーム群に対して適用する。
911〜919をGOP(11)〜GOP(19)とする。GOP(11)〜GOP(13)の送信開始時においては通信状況が悪くないと判定され、GOP(11)〜GOP(13)には左右映像ともに誤り訂正レベル2を適用している。しかし、GOP(14)914の送信開始前に通信状況が悪いと判定されたとする。
GOP(14)914においては、右目映像にIフレームを適用しているため、右目映像フレーム群に誤り訂正レベル3を適用し、左目映像フレーム群に誤り訂正レベル1を適用している。
続くGOP(15)915においては、左目映像にIフレームを適用しているため、左目映像フレーム群に誤り訂正レベル3を適用し、右目映像フレーム群に誤り訂正レベル1を適用する。
GOP(14)914においては、右目映像にIフレームを適用しているため、右目映像フレーム群に誤り訂正レベル3を適用し、左目映像フレーム群に誤り訂正レベル1を適用している。
続くGOP(15)915においては、左目映像にIフレームを適用しているため、左目映像フレーム群に誤り訂正レベル3を適用し、右目映像フレーム群に誤り訂正レベル1を適用する。
GOP(16)916においては、右目映像にIフレームを適用しているため、右目映像フレーム群に誤り訂正レベル3を適用し、左目映像フレーム群に誤り訂正レベル1を適用している。
GOP(17)917においては、左目映像にIフレームを適用しているため、左目映像フレーム群に誤り訂正レベル3を適用し、右目映像フレーム群に誤り訂正レベル1を適用する。
GOP(17)917においては、左目映像にIフレームを適用しているため、左目映像フレーム群に誤り訂正レベル3を適用し、右目映像フレーム群に誤り訂正レベル1を適用する。
そして、GOP(18)918の送信開始前に通信状況が悪くないと判定され、GOP(18)918、GOP(19)919では左右映像ともに誤り訂正レベル2を適用している。
なお、通信状況把握処理及び誤り訂正適用レベル切り替え処理に関して、本実施例では、1GOP単位で処理しているが、2GOP以上の単位で処理してもよい。
また、誤り訂正強度や通信状況変更判定の閾値等が動的変更可能である点は実施例1と同様である。
本実施例では、時間軸において未来方向へのフレーム参照をしていないが、参照する形態でも本発明は実施できる。
また、誤り訂正強度や通信状況変更判定の閾値等が動的変更可能である点は実施例1と同様である。
本実施例では、時間軸において未来方向へのフレーム参照をしていないが、参照する形態でも本発明は実施できる。
[その他の実施例]
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などである。
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。
101 MRシステムユーザ
102 無線ルータ
103 右目撮像フレームパケット群
104 左目撮像フレームパケット群
105 CG重畳外部PC
106 CG重畳済右目映像フレームパケット群
107 CG重畳済左目映像フレームパケット群
200 HMD(頭部装着型表示装置)
211 データバス
300 パケット送受信プログラム
901 GOP(1)
902 GOP(2)
903 GOP(3)
102 無線ルータ
103 右目撮像フレームパケット群
104 左目撮像フレームパケット群
105 CG重畳外部PC
106 CG重畳済右目映像フレームパケット群
107 CG重畳済左目映像フレームパケット群
200 HMD(頭部装着型表示装置)
211 データバス
300 パケット送受信プログラム
901 GOP(1)
902 GOP(2)
903 GOP(3)
Claims (13)
- 第1のコンテンツデータと第2のコンテンツデータとを、受信装置に送信する送信装置であって、
前記送信装置と、前記受信装置との間の通信状況を把握する通信状況把握手段と、
前記通信状況に基づいて、前記送信されたコンテンツデータのうち前記受信装置が正常に受信しなかったコンテンツデータを前記受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、前記第1のコンテンツデータ、前記第2のコンテンツデータそれぞれに対して設定する設定手段と、
前記第1のコンテンツデータおよび前記第2のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第1の誤り訂正用データ及び第2の誤り訂正用データを生成する誤り訂正データ生成手段と、
前記第1のコンテンツデータ、前記第2のコンテンツデータ、前記第1の誤り訂正用データ、および前記第2の誤り訂正用データを前記受信装置に送信する送信手段と、を備えることを特徴とする送信装置。 - 前記通信状況把握手段は、前記通信状況が所定の条件を満たしているかを判定し、
前記設定手段は、前記通信状況把握手段が前記通信状況が所定の条件を満たしていると判定した場合に、前記第1の誤り訂正用データに、前記第2の誤り訂正用データよりも大きい誤り訂正強度を設定し、所定の間隔ごとに、前記誤り訂正強度を、前記第1の誤り訂正用データと前記第2の誤り訂正用データとで切り替えるように設定することを特徴とする請求項1に記載の送信装置。 - 前記送信手段は、前記第1のコンテンツデータおよび前記第2のコンテンツデータそれぞれを、パケットに分割して送信し、
前記設定手段は、前記分割されたパケットごとに、前記誤り訂正強度を、前記第1の誤り訂正用データと前記第2の誤り訂正用データとで切り替えるように設定することを特徴とする請求項2に記載の送信装置。 - 更に、前記第1のコンテンツデータおよび前記第2のコンテンツデータそれぞれを符号化する符号化手段を備えることを特徴とする請求項1乃至3のいずれか1項に記載の送信装置。
- 前記受信装置から通信状況を知らせるレポートパケットを受信するレポートパケット受信手段と、をさらに備え、
前記通信状況把握手段は、前記受信したレポートパケットの内容から通信状況を把握することを特徴とする請求項1乃至4のいずれか1項に記載の送信装置。 - 前記レポートパケットは、通信エラー情報を含むことを特徴とする請求項5に記載の送信装置。
- 前記レポートパケットは、前記誤り訂正用データによる回復可否情報を含むことを特徴とする請求項5又は6に記載の送信装置。
- 前記受信装置からコンテンツデータを受信する受信手段をさらに備え、
前記通信状況把握手段は、前記受信手段による受信の結果から通信状況を把握することを特徴とする請求項1乃至7のいずれか1項に記載の送信装置。 - 前記設定手段は、前記通信状況把握手段により通信状況が所定の条件を満たしていないと判定された場合に、前記第1のコンテンツデータ、前記第2のコンテンツデータそれぞれ同じ誤り訂正強度を設定することを特徴とする請求項1乃至8のいずれか1項に記載の送信装置。
- 前記送信装置または前記受信装置のいずれか一方は、頭部装着型表示装置であり、前記第1のコンテンツデータ、前記第2のコンテンツデータそれぞれは、前記頭部装着型表示装置を装着するユーザの左右の眼に対応して撮像された映像データであることを特徴とする請求項1乃至9のいずれか1項に記載の送信装置。
- 前記コンテンツデータは、CGを含むデータであることを特徴とする請求項1乃至10のいずれか1項に記載の送信装置。
- 第1のコンテンツデータと第2のコンテンツデータとを、送信装置から受信装置に送信する送信方法であって、
前記送信装置と、前記受信装置との間の通信状況を把握する通信状況把握ステップと、
前記通信状況に基づいて、前記送信されたコンテンツデータのうち前記受信装置が正常に受信しなかったコンテンツデータを前記受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、前記第1のコンテンツデータ、前記第2のコンテンツデータそれぞれに対して設定する設定ステップと、
前記第1のコンテンツデータおよび前記第2のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第1の誤り訂正用データ及び第2の誤り訂正用データを生成する誤り訂正データ生成ステップと、
前記第1のコンテンツデータ、前記第2のコンテンツデータ、前記第1の誤り訂正用データ、および前記第2の誤り訂正用データを前記受信装置に送信する送信ステップと、を含むことを特徴とする送信方法。 - 請求項1乃至11のいずれか1項に記載の送信装置が有する各手段としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015006697A JP2016134673A (ja) | 2015-01-16 | 2015-01-16 | 送信装置、送信方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015006697A JP2016134673A (ja) | 2015-01-16 | 2015-01-16 | 送信装置、送信方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016134673A true JP2016134673A (ja) | 2016-07-25 |
Family
ID=56434642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015006697A Pending JP2016134673A (ja) | 2015-01-16 | 2015-01-16 | 送信装置、送信方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016134673A (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080115252A1 (en) * | 2006-11-16 | 2008-05-22 | Taylor Made Golf Company, Inc. | Pants with cooling feature |
-
2015
- 2015-01-16 JP JP2015006697A patent/JP2016134673A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080115252A1 (en) * | 2006-11-16 | 2008-05-22 | Taylor Made Golf Company, Inc. | Pants with cooling feature |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8233539B2 (en) | Method and apparatus for transmitting packet-based image frame | |
US11039174B2 (en) | Recovery from packet loss during transmission of compressed video streams | |
US20060291475A1 (en) | Selective forward error correction | |
JP5768332B2 (ja) | 送信機、受信機及び通信システム | |
US9661351B2 (en) | Client side frame prediction for video streams with skipped frames | |
JP2010183439A (ja) | 送信装置、及び、方法、プログラム | |
CN108028922A (zh) | 视频编码 | |
US9264737B2 (en) | Error resilient transmission of random access frames and global coding parameters | |
JP4041137B2 (ja) | 映像符号化・送信装置,映像符号化・送信方法,映像符号化・送信プログラムおよびその記録媒体 | |
CN108141581A (zh) | 视频编码 | |
JP5553663B2 (ja) | 映像送信装置、映像受信装置、映像伝送システム | |
JP5377040B2 (ja) | 送信装置及び送信方法 | |
JP5172874B2 (ja) | 映像同期装置、映像表示装置、映像同期方法及びプログラム | |
JP6511472B2 (ja) | ブロードキャスティング及び/又は通信システムにおけるパケットの生成及び復元のための方法及び装置 | |
JP5588244B2 (ja) | 映像伝送システム | |
JP4604851B2 (ja) | 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム | |
US10477246B2 (en) | Method for encoding streams of video data based on groups of pictures (GOP) | |
JP6529299B2 (ja) | 送信装置、受信装置、方法及びプログラム | |
KR20140124971A (ko) | 순방향 오류 정정 패킷 송수신 장치 및 방법 | |
JP2011172153A (ja) | メディア符号化伝送装置 | |
JP5682292B2 (ja) | 映像配信装置及び映像配信方法 | |
US20130339482A1 (en) | Data transmitting system, and transmitting apparatus and receiving apparatus and program in data transmitting system | |
JP2016134673A (ja) | 送信装置、送信方法、及びプログラム | |
JP6197708B2 (ja) | 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム | |
US11418218B2 (en) | Receiving device and receiving method |