JP2016134673A - 送信装置、送信方法、及びプログラム - Google Patents

Abstract

【課題】無線ＭＲシステムにおいて、無線通信状況が悪化し、パケットロスや遅延が発生すると、出力映像が乱れ、ユーザに不快感を与える。特に、左目、又は右目に対応する映像のどちらか一方の出力映像が連続して乱れる、又は更新されない場合、ユーザに大きな不快感を与える。【解決手段】送信装置と受信装置との間の通信状況を把握する通信状況把握手段と、通信状況に基づいて、送信されたコンテンツデータのうち受信装置が正常に受信しなかったコンテンツデータを受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、第１、第２のコンテンツデータそれぞれに対して設定する設定手段と、第１、第２のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第１、第２の誤り訂正用データを生成する誤り訂正データ生成手段と、第１、第２のコンテンツデータ、第１、第２の誤り訂正用データを受信装置に送信する送信手段と、を備える送信装置。【選択図】 図７

Description

本発明は、送信装置、送信方法、及びプログラムに関する。

現在、現実世界と仮想空間をリアルタイム且つシームレスに融合するＭＲ(Mixed Reality: 複合現実)システムが利用されてきている。ＭＲシステムを実現する方法の一つとして、ビデオシースルー方式がある。ビデオシースルー方式の一例として、まず、ＨＭＤ（Head Mounted Display：頭部装着型表示装置）に付属している左目及び右目に対応する二つのビデオカメラでＨＭＤユーザの視界領域をそれぞれ撮像する。次に、その撮像映像にＣＧ(Computer Graphics)を重畳する。最後に、ＣＧを重畳した映像をＨＭＤに付属している左目及び右目に対応する二つのディスプレイにより観察する。

撮像映像にＣＧを重畳する処理は計算処理コストが大きいため、ＰＣなどの外部装置と接続し、一旦撮像映像を外部装置に送信し、外部装置上でＣＧを重畳し、それをＨＭＤに送り返してから表示したりする。このような場合に、ＨＭＤユーザは自由に動きながらＭＲ空間を体験するために、ＨＭＤとＣＧを重畳する外部装置とは無線で通信することが望ましい。しかし、一般的に、無線通信は有線通信に比較して通信帯域が狭く、通信上でのパケットロスや遅延も発生しやすい。パケットロスや遅延等の通信エラーが発生すると、ＨＭＤに送り返される映像が正常に出力できず、映像が乱れたり、映像が長時間更新されなかったりすることがある。

通信エラーに対する耐性を高める技術として、前方誤り訂正(FEC: Forward Error Correction)技術がある。誤り訂正技術では、データパケットに対して冗長な誤り訂正パケットを生成し、データパケットと共に誤り訂正パケットも送信するため、通信帯域を余計に使用する。そのため、有限な通信帯域に対して、生成、送信できる誤り訂正パケット量は限られる。従って、限られた誤り訂正符号資源を通信状況やデータの重要度等に応じて適用制御する必要がある。例えば、特許文献１には、ＭＲシステムと同様に左右の映像データを送信するシステムにおいて、重要なデータに誤り訂正技術を適用する方法が開示されている。

特開２０１４−２７４４８号公報

上述したＭＲシステムにおいては、左目及び右目に対応する二つの映像をそれぞれに対応する二つのディスプレイにより観察するため、左目映像と右目映像の二つの映像データが存在する。通常、二つの映像データに誤り訂正符号資源を均等に割り当てることで、左右映像の通信エラー耐性を高め、左右映像が正常に出力されることを期待する。
しかしながら、通信状況が悪化し、左右の映像に割り当てた誤り訂正符号資源だけでは通信エラー耐性が不十分となった場合、左右の両映像が乱れたり、両映像が長時間更新されなかったりすると、ユーザに大きな不快感を与えてしまう。
本発明は上述した問題を解決するためになされたものであり、まず、誤り訂正符号資源を割り当てる誤り訂正適用レベルを少なくとも二レベル以上用意する。次に、通信状況の変化に応じて左目、及び右目に対応する映像フレームパケットに対する誤り訂正適用レベルを少なくとも一フレーム以上の周期で切り替える。これにより、左右の映像データに対する通信エラー耐性が周期的に切り替わり、左右両映像、又は左右映像のどちらか一方の映像だけの映像品質が長期間低下する状況の発生率を低減することを可能とする送信装置及び送信方法を提供することを目的とする。

上記目的を達成するための一手段として、本発明の送信装置は以下の構成を備える。
すなわち、第１のコンテンツデータと前記第２のコンテンツデータとを、受信装置に送信する送信装置であって、
前記送信装置と、前記受信装置との間の通信状況を把握する通信状況把握手段と、
前記通信状況に基づいて、前記送信されたコンテンツデータのうち前記受信装置が正常に受信しなかったコンテンツデータを前記受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、前記第１のコンテンツデータ、前記第２のコンテンツデータそれぞれに対して設定する設定手段と、
前記第１のコンテンツデータおよび前記第２のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第１の誤り訂正用データ及び第２の誤り訂正用データを生成する誤り訂正データ生成手段と、
前記第１のコンテンツデータ、前記第２のコンテンツデータ、前記第１の誤り訂正用データ、前記第２の誤り訂正用データを前記受信装置に送信する送信手段と、を備えることを特徴とする。

以上の構成からなる本発明によれば、誤り訂正符号資源を割り当てる誤り訂正適用レベルを少なくとも二レベル以上用意し、左目、及び右目に対応する映像フレームパケットに対する誤り訂正適用レベルを少なくとも一フレーム以上の周期で切り替える。これにより、左右の映像データに対する通信エラー耐性が周期的に切り替わり、左右両映像、又は左右映像のどちらか一方の映像だけの映像品質が長期間低下する状況の発生率を低減することが可能となる。

本発明の実施例に関わる無線ＭＲシステム構成図である。 本発明の実施例に関わるＨＭＤのハードウェア構成ブロック図である。 本発明の実施例に関わるパケット送受信プログラムのモジュール構成図である。 本発明の実施例に関わる誤り訂正レベル切り替え処理の流れを示すフローチャートである。 本発明の実施例に関わる通信状況判定処理の流れを示すフローチャートである。 通常時における誤り訂正適用例である。 通信状況が悪化した場合における誤り訂正適用例である。 通信状況が回復した場合における誤り訂正適用例である。 通信状況がさらに悪化した場合における誤り訂正適用例である。 通信状況が悪化した場合における誤り訂正適用例である。 視差情報を用いた映像符号化データに対する誤り訂正適用例である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施例１］
本実施例のＭＲシステムでは、ＨＭＤ（頭部装着型表示装置）に搭載されたカメラで撮像した映像データとそれを保護する誤り訂正符号データを外部ＰＣに送信し、外部ＰＣにてＣＧを重畳した映像データを送り返してもらい、それをＨＭＤに搭載されたディスプレイにて表示する。

図１は、本実施例で説明する無線ＭＲシステムの構成図である。
無線ＭＲシステムのユーザ１０１はＨＭＤ２００を装着している。ＨＭＤ２００の詳細なハードウェア構成については、図２の説明にて後述する。
アクセスポイント１０２はＨＭＤ２００と無線通信で接続される。
右目撮像フレームパケット群１０３はＨＭＤ２００における右目映像撮像部２０１で撮像されたデータのパケット群である。
左目撮像フレームパケット群１０４はＨＭＤ２００における左目映像撮像部２０２で撮像されたデータのパケット群である。

外部ＰＣ１０５はＨＭＤ２００から受信した右目撮像フレームパケット群１０３及び左目撮像フレームパケット群１０４に適切なＣＧを重畳する。当該外部ＰＣとアクセスポイント１０２は有線ＬＡＮ（Local Area Network）等で接続されるが、無線でも構わないし、ＬＡＮでなくてもよい。
右目映像フレームパケット群１０６は外部ＰＣ１０５でＣＧを重畳された右目映像フレームパケット群である。
左目映像フレームパケット群１０７は外部ＰＣ１０５でＣＧを重畳された左目映像フレームパケット群である。

図２は、図１におけるＨＭＤ２００のハードウェア構成ブロック図である。
右目映像撮像部２０１は、ユーザ１０１の右目で見えている視野映像を撮像するカメラである。
左目映像撮像部２０２は、ユーザ１０１の左目で見えている視野映像を撮像するカメラである。
右目映像撮像部２０１及び左目映像撮像部２０２は、第１の映像フレームデータ及び第２の映像フレームデータを取得する映像フレーム取得手段に相当する。

右目映像表示部２０３は、ＣＧ重畳外部ＰＣ１０５でＣＧを重畳した右目映像を表示するディスプレイである。
左目映像表示部２０４は、ＣＧ重畳外部ＰＣ１０５でＣＧを重畳した左目映像を表示するディスプレイである。
ネットワークインタフェース２０５は、インターネットや公衆無線、ＬＡＮと接続できるインタフェースである。

ＣＰＵ（Central Processing Unit）２０６は、各ハードウェア構成部を統括的に制御する。
ＲＯＭ（Read Only Memory）２０７は、ＣＰＵ２０６で実行される制御プログラム等を格納している。
ＲＡＭ（Random Access Memory）２０８は、ＣＰＵ２０６の主メモリ、ワークエリア等として機能する。

エンコーダ２０９は、右目映像撮像部２０１及び左目映像撮像部２０２で撮像された映像データを特定の符号化方式、例えばＪＰＥＧ（Joint Photographic Expert Group）やＨ．２６４／ＡＶＣ（ISO/IEC 14496-10 MPEG-4 Part10 Advanced Video Coding）、Ｈ．２６４／ＭＶＣ（Multi-view Video Coding）等に応じて圧縮する処理を行う。本実施例では、ＪＰＥＧ方式で符号化する場合を想定して説明するがその他の方式の場合でも本発明の適用は可能である。Ｈ．２６４／ＭＶＣのように左右の視差情報や動きベクトルを用いた符号化方式での実施形態として、実施例２で説明する。また、各撮像部で撮像された映像データを圧縮せずにパケット化し、ＣＧ重畳外部ＰＣ１０５に送信してもよく、その場合、エンコーダ２０９はシステムに含まれない、又は使用されない。また、エンコーダ２０９はソフトウェアで実装してもよい。

エンコーダ２０９は、符号化手段、映像フレームパケット生成手段および誤り訂正パケット生成手段に相当する。符号化手段は、第１、第２の映像フレームデータのそれぞれを符号化して第１、第２の映像フレーム符号化データとする。映像フレームパケット生成手段は、第１、第２の映像フレーム符号化データのそれぞれをパケット化して第１、第２の映像フレームパケットを生成する。誤り訂正パケット生成手段は、第１、第２の映像フレームパケット群のそれぞれに対して選択した誤り訂正強度で第１の誤り訂正パケット及び第２の誤り訂正パケットを生成する。

デコーダ２１０は、ＣＧ重畳外部ＰＣ１０５から受信した右目映像フレームパケット１０６及び左目映像フレームパケット１０７を、特定の復号化方式に応じて伸張する処理を行う。ここでの復号化方式は、ＣＧ重畳外部ＰＣ１０５が圧縮で用いる符号化方式に依存するが、エンコーダ２０９で使用する符号化方式と同じ方式でもよいし、異なる方式でもよい。また、エンコーダ２０９同様、受信する映像フレームデータは圧縮されていないＲＡＷデータでもよく、その場合、デコーダ２１０はシステムに含まれない、又は使用されない。また、デコーダ２１０はソフトウェアで実装してもよい。
バス２１１は各種データの転送経路となる。

図３は、パケット送受信プログラムのモジュール構成図である。
パケット生成部３０１は、エンコーダ２０９から入力された映像符号化データを通信プロトコルに応じてパケット化する。無線ＭＲシステムはリアルタイム性の要求が高いため、ＲＴＰ（A Transport Protocol for Real-Time Applications, RFC3550, IETF）／ＵＤＰ（User Datagram Protocol）のような通信プロトコルが好適であるが、これ以外の通信プロトコルでもよいし、独自プロトコルでもよい。パケット生成部３０１は、符号化済みのコンテンツデータを通信に適したサイズに分割し、さらに通信するために必要なヘッダを付加してＲＴＰのデータパケットを生成する。
なお、本形態ではコンテンツデータが動画データである場合について説明するが、それ以外のデータ（例えば音声データ）であっても本発明は適用可能である。また、本形態では、データをＲＴＰプロトコルで送信する例を中心に説明するが、そのほかのプロトコルで送信するようにしてもよい。

パケット送信部３０２は、パケット生成部３０１から受け取ったパケットをネットワークインタフェース２０５経由で、所定の通信プロトコルによりＣＧ重畳外部ＰＣ１０５に送信する。
右目映像フレームパケットバッファ３０３は、パケット生成部３０１でパケット化された右目映像フレームパケットを一時的に格納するバッファである。
左目映像フレームパケットバッファ３０４は、パケット生成部３０１でパケット化された左目映像フレームパケットを一時的に格納するバッファである。

誤り訂正符号化部３０５、３０６、３０７は、パケット生成部３０１により生成されたパケットのデータに従って復元用パケット（ＦＥＣパケット）を生成する。誤り訂正符号化部は、誤り訂正データ生成手段の一例である。ＦＥＣパケットは、外部ＰＣ１０５（受信装置）が正常に受信しなかったコンテンツデータを外部ＰＣ１０５が復元するために用いる復元用データである。復元用データは、誤り訂正用データの一例である。誤り訂正符号化部３０５、３０６、３０７は、例えば、コンテンツデータに対する排他的論理輪の演算により、ＦＥＣパケットを生成する。誤り訂正符号化部３０５、３０６、３０７は、誤り訂正適用レベルが異なる。誤り訂正符号化部３０５、３０６、３０７は、右目映像フレームパケットバッファ３０３、又は左目映像フレームパケットバッファ３０４から入力される映像フレームパケット群から特定の誤り訂正符号化方式に応じて誤り訂正符号を生成する。本実施例では、レベルを三段階で設定できるようにしているが、二段階でもよいし、四段階以上でもよい。ここでは、レベル１、レベル２、レベル３の順番で誤り訂正強度が強いものとして説明する。誤り訂正符号化方式として、例えば、排他的論理和演算によるパリティ方式やリードソロモン符号化方式、低密度パリティ検査符号化方式等があるが、誤り訂正強度を設定できる符号化方式であればどのような方式でもよい。また、当該誤り訂正符号化部は、通信プロトコルに応じたパケット生成部も含む。パケット化された誤り訂正パケットは、パケット送信部３０２によりＣＧ重畳外部ＰＣ１０５に送信される

パケット受信部３０８は、ＣＧ重畳外部ＰＣ１０５からネットワークインタフェース２０５を介してパケットを受信する。ここで受信するパケットは、大きく二種類に分かれ、一つはＨＭＤの撮像映像にＣＧが重畳された映像フレームパケットで、もう一つは通信状況を把握するためのレポートパケットである。レポートパケットは、例えば、ＲＴＣＰ（Real-time Transport Control Protocol）のＲｅｃｅｉｖｅｒ ＲｅｐｏｒｔやＳｅｎｄｅｒ Ｒｅｐｏｒｔのようにエラーレートや遅延情報を把握できるプロトコルを利用してもよいし、独自プロトコルでもよい。
本実施例では、誤り訂正符号化部３０５、３０６、３０７で生成した誤り訂正パケットによる誤り訂正の結果を通知されるものとして説明するが、これに限らない。
パケット受信部３０８は、受信装置から通信状況を知らせるレポートパケットを受信するレポートパケット受信手段と、受信装置から映像フレームパケットを受信する映像フレームパケット受信手段とに相当する。

また、ＣＧ重畳外部ＰＣ１０５においても誤り訂正パケットを生成、送信してもよく、その場合は、本機能において誤り訂正パケットも受信する。ＣＧが重畳された映像フレームパケットはデコーダ２１０に出力され、デコード結果としての右目映像フレームは右目映像表示部２０３に、左目映像フレームは左目映像表示部２０４にそれぞれ出力される。通信状況を把握するためのレポートパケットは通信状況把握部３０９に出力される。

通信状況把握部３０９は、パケット受信機能３０８から入力されたレポートパケットの内容（例えば、通信エラー情報）から通信状況を把握する。本実施例ではレポートパケットを使用しているが、デコーダ２１０におけるデコード結果から通信状況を把握してもよい。通信状況の把握方法の具体例は図５の説明にて後述する。
誤り訂正レベル切り替え部３１０は、通信状況把握部３０９から入力された通信状況に応じて右目映像フレームパケットバッファ３０３及び左目映像フレームパケットバッファ３０４の出力先となる誤り訂正符号化機能のレベルを切り替える。レベル切り替え方法の具体例は図４の説明にて後述する。
誤り訂正レベル切り替え部３１０は、第１の映像フレームパケット群及び第２の映像フレームパケット群のそれぞれに対して設定した誤り訂正強度の中から適用する強度を選択する強度選択手段に相当する。誤り訂正レベル切り替え部３１０は、所定の間隔（少なくとも一フレーム以上の周期）で、第１の映像フレームパケット群と第２の映像フレームパケット群に適用する誤り訂正強度を切り替える。

図４は、誤り訂正レベル切り替え部３１０における誤り訂正レベル切り替え処理の流れを示すフローチャートである。
Ｓ４０１では、通信状況を判定する。これは、通信状況把握部３０９における判定処理であり、詳細は図５で説明する。
Ｓ４０２では、Ｓ４０１の通信状況判定処理結果に応じて分岐する。通信状況が良いと判定された場合、Ｓ４０３に移行し、通信状況が悪いと判定された場合、Ｓ４０４に移行する。

Ｓ４０３では、レベル２の誤り訂正強度が適用される。この場合、右目映像フレームパケットか左目映像フレームパケットかに関わらず両パケットバッファの出力先がレベル２誤り訂正符号化部３０６となり、誤り訂正レベル切り替え処理を終了する。
Ｓ４０４では、映像フレームパケットが右目映像か左目映像かに応じて分岐する。右目映像の場合はＳ４０５に移行し、左目映像の場合はＳ４０６に移行する。

Ｓ４０５では、フレーム番号が偶数か奇数かに応じて分岐する。フレーム番号が偶数の場合はＳ４０７に移行し、フレーム番号が奇数の場合はＳ４０８に移行する。
Ｓ４０６でもＳ４０５と同様に、フレーム番号が偶数か奇数かに応じて分岐する。フレーム番号が偶数の場合はＳ４０８に移行し、フレーム番号が奇数の場合はＳ４０７に移行する。

なお、Ｓ４０５、Ｓ４０６でフレーム番号が偶数か奇数かに応じて分岐処理を行っているが、これはあくまでも１フレーム単位で誤り訂正レベルを切り替える本実施形態における実装例に過ぎない。例えば、５フレーム単位で誤り訂正レベルを切り替える場合は、フレーム番号／５（小数点以下切捨て）が偶数か奇数かに応じて分岐処理を行うようにすればよい。

Ｓ４０７では、レベル３の誤り訂正強度が適用され、誤り訂正レベル切り替え処理を終了する。
Ｓ４０８では、レベル１の誤り訂正強度が適用され、誤り訂正レベル切り替え処理を終了する。

なお、本誤り訂正レベル切り替え処理は、通信状況が悪いと判定された場合にレベルを切り替えるフレーム単位で行われる。本実施例では、１フレーム単位で切り替えるため、右目映像フレームパケットバッファ３０３及び左目映像フレームパケットバッファ３０４から出力されるフレームパケットのフレーム番号が変わる毎に切り替え処理が発生する。また、本実施例では、１フレーム単位で切り替えているが、２フレーム以上の単位で切り替えてもよい。２フレーム以上の単位で切り替える場合、Ｓ４０５及びＳ４０６での判定方法が変わる。更に、切り替えるフレーム単位は通信状況の変化やフレームレート等に応じて動的に変更してもよい。

図５は、通信状況把握部３０９における通信状況判定処理の流れを示すフローチャートである。
Ｓ５０１では、誤り訂正不可が有るかどうかに応じて分岐する。ここで、誤り訂正不可が有るかどうかは、最後に本判定処理を行ってから現在までの間に、ＣＧ重畳外部ＰＣ１０５から誤り訂正不可通知パケットを受信したかどうかで判定する。誤り訂正不可が有る場合はＳ５０２に移行し、誤り訂正不可が無い場合はＳ５０４に移行する。誤り訂正不可通知パケットは、誤り訂正パケットによる回復可否情報を含むレポートパケットの一例であって、誤り訂正パケットによっては回復ができないことを通知するパケットである。

Ｓ５０２では、本判定処理の中で静的に保持している誤り訂正可カウンタを０に初期化し、Ｓ５０３に移行する。
Ｓ５０３では、通信状況が悪いと判定し、通信状況判定処理を終了する。
Ｓ５０４では、最後に本判定処理を行った際に判定した通信状況に応じて分岐する。前回の通信状況が良かった場合はＳ５０５に移行し、前回の通信状況が悪かった場合はＳ５０６に移行する。
Ｓ５０５では、通信状況が良いと判定し、通信状況判定処理を終了する。
Ｓ５０６では、誤り訂正可カウンタをインクリメントし、Ｓ５０７に移行する。

Ｓ５０７では、誤り訂正可カウンタが閾値Ｎよりも大きいかどうかに応じて分岐する。誤り訂正可カウンタが閾値Ｎよりも大きい場合はＳ５０８に移行し、誤り訂正可カウンタが閾値Ｎ以下の場合はＳ５０３に移行する。誤り訂正可カウンタの値は、通信状況が悪いと判定されている間に連続で誤り訂正不可判定が無かった回数を意味しており、Ｎ＋１回連続で誤り訂正不可判定が無かった場合は通信状況が良くなったと判定するようになる。閾値Ｎは予め定めた固定値でもよいし、通信状況やフレームレート等に応じて動的に変更してもよい。
Ｓ５０８では、誤り訂正可カウンタを０に初期化し、Ｓ５０５に移行する。

図６は、通信状況が良いと判定されている場合の誤り訂正適用例を示す図である。ここでの映像フレームはＨＭＤ２００から送信する映像フレームで、通信エラーはＨＭＤ２００からＣＧ重畳外部ＰＣ１０５までの通信経路で発生したエラーをそれぞれ示す。説明の簡素化のため、ＣＧ重畳外部ＰＣ１０５からＨＭＤ２００に送り返される映像フレームパケットにはエラーが発生していないものとして説明する。仮に、ＣＧ重畳外部ＰＣ１０５からＨＭＤ２００に送り返される映像フレームパケットにエラーが発生した場合は、Ｓ５０１において誤り訂正不可が有ったものと同じ判定をしてもよい。ＣＧ重畳外部ＰＣ１０５から送り返される映像フレームパケットにも誤り訂正パケットが付加されている場合、その誤り訂正処理結果もＳ５０１における誤り訂正不可判定に反映させてもよい。

右目及び左目の映像フレームがフレーム番号（１）から（６）まであり、それぞれレベル２の誤り訂正強度の誤り訂正パケットが付加されている。ここで、右目映像のフレーム（１）、（２）、（３）、（５）、（６）及び左目映像のフレーム（１）、（３）、（４）、（５）、（６）において、通信エラーが発生しているが、全てレベル２の誤り訂正強度で回復できる。そのため、全ての映像フレームが表示可能であり、Ｓ５０１の判定処理においても誤り訂正不可無と判定され、通信状況の変化も無いものとして処理が継続される。

図７は、図６に示した状態から通信状況が悪化した場合の誤り訂正適用例を示す図である。
前記の如く、右目映像フレーム（７）も左目映像フレーム（７）もＨＭＤ２００からＣＧ重畳外部ＰＣ１０５へ送信する映像フレームであって、レベル２の誤り訂正強度が適用され、右目映像フレーム（７）も左目映像フレーム（７）も通信エラーの数は２である。よって、最後に通信状況判定処理を行ってから現在までの間に、ＨＭＤ２００はＣＧ重畳外部ＰＣ１０５から誤り訂正不可通知パケットを受信して無いと判定され、ステップＳ５０１はＮｏに分岐する。

フレーム（７）について通信状況判定処理を行った際に通信状況は良いと判定されたから、ステップＳ５０４はＮｏに分岐し、通信状況は良いと判定される（ステップＳ５０５）。
よって、図４のステップＳ４０２はＮｏに分岐し、次の映像フレーム、つまり右目映像フレーム（８）も左目映像フレーム（８）もレベル２の誤り訂正強度が適用される（ステップＳ４０３）。

フレーム（８）までは通信状況の変化無と判定されているため、レベル２の誤り訂正強度の誤り訂正パケットが付加されているが、右目映像フレーム（８）において、レベル２の誤り訂正強度では回復できない通信エラーが発生している。これにより、ＣＧ重畳外部ＰＣ１０５から、フレーム（８）における誤り訂正不可通知パケットが、ＨＭＤ２００に対して送信される。ＨＭＤ２００では、誤り訂正不可通知パケットを受信したタイミングで通信状況の変化を検知し、次のフレーム（９）から通信状況が悪いと判定された場合の誤り訂正適用処理に変わる。

フレームレートやＨＭＤ２００とＣＧ重畳外部ＰＣ１０５間の通信距離等によって通信状況変化を検知できるタイミングが遅れる可能性もあり、必ずしも次のフレーム（９）から新しい誤り訂正適用処理に変更できるとは限らない。その場合は、通信状況変化を検知できたタイミングで誤り訂正適用処理も変更される。

フレーム（８）における誤り訂正不可通知パケットがＨＭＤ２００に対して送信され、ＨＭＤ２００は通信状況の変化を検知し、次のフレーム（９）から通信状況が悪いと判定された場合の誤り訂正適用処理に変わる場合について具体的に説明する。

＜フレーム（９）について＞
ＨＭＤ２００がフレーム（８）における誤り訂正不可通知パケットを受信してステップＳ５０１がＹｅｓに分岐し、誤り訂正可カウンタが０に初期化され（ステップＳ５０２）、通信状況が悪いと判定される（ステップＳ５０３）。
その結果、図４のステップＳ４０２はＹｅｓに分岐する。
右目映像フレーム（９）については、ステップＳ４０４はＹｅｓに分岐し、ステップＳ４０５はＮｏに分岐し、ステップＳ４０８でレベル１の誤り訂正強度が適用される。
左目映像フレーム（９）については、ステップＳ４０４はＮｏに分岐し、ステップＳ４０６もＮｏに分岐し、ステップＳ４０７でレベル３の誤り訂正強度が適用される。

右目映像フレーム（９）においては、エラーの数は１、誤り訂正強度はレベル１であるから、回復できない通信エラーは発生していない。
左目映像フレーム（９）においては、エラーの数は２、誤り訂正強度はレベル３であるから、回復できない通信エラーは発生していない。

＜フレーム（１０）について＞
右目映像フレーム（９）および左目映像フレーム（９）ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図５のステップＳ５０１はＮｏに分岐する。
フレーム（９）について通信状況判定処理を行った際に通信状況が悪いと判定されたから、ステップＳ５０４はＹｅｓに分岐し、ステップＳ５０６で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は１となる。
本実施例では、図５における閾値Ｎを２とし、３フレーム連続で誤り訂正可、又はエラー無しの状況が続いたら、誤り訂正可カウンタは０に初期化され（ステップＳ５０８）、通信状況が回復したと判定される（ステップＳ５０５）。
ステップＳ５０７では、誤り訂正可カウンタの値が１であるから、Ｎｏに分岐し、ステップＳ５０３で通信状況が悪いと判定される。

よって、図４のステップＳ４０２はＹｅｓに分岐する。
右目映像フレーム（１０）については、ステップＳ４０４はＹｅｓに分岐し、ステップＳ４０５もＹｅｓに分岐し、ステップＳ４０７でレベル３の誤り訂正強度が適用される。
左目映像フレーム（１０）については、ステップＳ４０４はＮｏに分岐し、ステップＳ４０６はＹｅｓに分岐し、ステップＳ４０８でレベル１の誤り訂正強度が適用される。

右目映像フレーム（１０）においては、エラーの数は３、誤り訂正強度はレベル３であるから、回復できない通信エラーは発生していない。
左目映像フレーム（１０）においては、エラーの数は４、誤り訂正強度はレベル１であるから、回復できない通信エラーが発生している。

＜フレーム（１１）について＞
誤り訂正不可は有ると判定され、図５のステップＳ５０１はＹｅｓに分岐する。
ステップＳ５０２で誤り訂正可カウンタは０に初期化され、ステップＳ５０３で通信状況が悪いと判定される。

よって、図４のステップＳ４０２はＹｅｓに分岐する。
右目映像フレーム（１１）については、ステップＳ４０４はＹｅｓに分岐し、ステップＳ４０５はＮｏに分岐し、ステップＳ４０８でレベル１の誤り訂正強度が適用される。
左目映像フレーム（１１）については、ステップＳ４０４はＮｏに分岐し、ステップＳ４０６もＮｏに分岐し、ステップＳ４０７でレベル３の誤り訂正強度が適用される。

右目映像フレーム（１１）においては、エラーの数は３、誤り訂正強度はレベル１であるから、回復できない通信エラーが発生している。
左目映像フレーム（１１）においては、エラーの数は３、誤り訂正強度はレベル３であるから、回復できない通信エラーが発生していない。

＜フレーム（１２）について＞
誤り訂正不可は有ると判定され、図５のステップＳ５０１はＹｅｓに分岐する。
ステップＳ５０２で誤り訂正可カウンタは０に初期化され、ステップＳ５０３で通信状況が悪いと判定される。

よって、図４のステップＳ４０２はＹｅｓに分岐する。
右目映像フレーム（１２）については、ステップＳ４０４はＹｅｓに分岐し、ステップＳ４０５もＹｅｓに分岐し、ステップＳ４０７でレベル３の誤り訂正強度が適用される。
左目映像フレーム（１２）については、ステップＳ４０４はＮｏに分岐し、ステップＳ４０６はＹｅｓに分岐し、ステップＳ４０８でレベル１の誤り訂正強度が適用される。

右目映像フレーム（１２）においては、エラーの数は３、誤り訂正強度はレベル３であるから、回復できない通信エラーは発生していない。
左目映像フレーム（１２）においては、エラーの数は３、誤り訂正強度はレベル１であるから、回復できない通信エラーが発生している。

図８は、図７に示した状態から通信状況が回復した場合の誤り訂正適用例を示す図である。
本実施例では、前記の如く、図５における閾値Ｎを２とし、３フレーム連続で誤り訂正可、又はエラー無しの状況が続いたら、誤り訂正可カウンタは０に初期化され（ステップＳ５０８）、通信状況が回復したと判定される（ステップＳ５０５）。

＜フレーム（１３）について＞
前記の如く、左目映像フレーム（１２）において回復できない通信エラーが発生しているため、誤り訂正不可は有ると判定され、図５のステップＳ５０１はＹｅｓに分岐する。
ステップＳ５０２で誤り訂正可カウンタは０に初期化され、ステップＳ５０３で通信状況が悪いと判定される。

よって、図４のステップＳ４０２はＹｅｓに分岐する。
右目映像フレーム（１３）については、ステップＳ４０４はＹｅｓに分岐し、ステップＳ４０５はＮｏに分岐し、ステップＳ４０８でレベル１の誤り訂正強度が適用される。
左目映像フレーム（１３）については、ステップＳ４０４はＮｏに分岐し、ステップＳ４０６もＮｏに分岐し、ステップＳ４０７でレベル３の誤り訂正強度が適用される。

右目映像フレーム（１３）においては、エラーの数は１、誤り訂正強度はレベル１であるから、回復できない通信エラーは発生していない。
左目映像フレーム（１３）においては、エラーの数は１、誤り訂正強度はレベル３であるから、回復できない通信エラーは発生していない。

＜フレーム（１４）について＞
右目映像フレーム（１３）および左目映像フレーム（１３）ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図５のステップＳ５０１はＮｏに分岐する。
フレーム（１３）の通信状況判定処理を行った際に判定した通信状況（前回の通信状況）は悪いと判定されたから、ステップＳ５０４はＹｅｓに分岐し、ステップＳ５０６で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は１となる。
ステップＳ５０７では、誤り訂正可カウンタの値が１であるから、Ｎｏに分岐し、ステップＳ５０３で通信状況が悪いと判定される。

よって、図４のステップＳ４０２はＹｅｓに分岐する。
右目映像フレーム（１４）については、ステップＳ４０４はＹｅｓに分岐し、ステップＳ４０５もＹｅｓに分岐し、ステップＳ４０７でレベル３の誤り訂正強度が適用される。
左目映像フレーム（１４）については、ステップＳ４０４はＮｏに分岐し、ステップＳ４０６はＹｅｓに分岐し、ステップＳ４０８でレベル１の誤り訂正強度が適用される。

右目映像フレーム（１４）においては、エラーの数は１、誤り訂正強度はレベル３であるから、回復できない通信エラーは発生していない。
左目映像フレーム（１４）においては、エラーの数は０、誤り訂正強度はレベル１であるから、回復できない通信エラーが発生していない。

＜フレーム（１５）について＞
右目映像フレーム（１４）および左目映像フレーム（１４）ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図５のステップＳ５０１はＮｏに分岐する。
フレーム（１４）の通信状況判定処理を行った際に判定した通信状況（前回の通信状況）は悪いと判定されたから、ステップＳ５０４はＹｅｓに分岐し、ステップＳ５０６で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は２となる。
ステップＳ５０７では、誤り訂正可カウンタの値が２であるから、Ｎｏに分岐し、ステップＳ５０３で通信状況が悪いと判定される。

よって、図４のステップＳ４０２はＹｅｓに分岐する。
右目映像フレーム（１５）については、右目映像フレーム（１３）と同様に、レベル１の誤り訂正強度が適用される。
左目映像フレーム（１５）については、左目映像フレーム（１３）と同様に、レベル３の誤り訂正強度が適用される。

右目映像フレーム（１５）においては、エラーの数は０、誤り訂正強度はレベル１であるから、回復できない通信エラーは発生していない。
左目映像フレーム（１５）においては、エラーの数は１、誤り訂正強度はレベル３であるから、回復できない通信エラーは発生していない。

＜フレーム（１６）について＞
右目映像フレーム（１５）および左目映像フレーム（１５）ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図５のステップＳ５０１はＮｏに分岐する。
フレーム（１５）の通信状況判定処理を行った際に判定した通信状況（前回の通信状況）は悪いと判定されたから、ステップＳ５０４はＹｅｓに分岐し、ステップＳ５０６で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は３となる。
ステップＳ５０７では、誤り訂正可カウンタの値が３であるから、Ｙｅｓに分岐し、ステップＳ５０８で誤り訂正可カウンタは０に初期化され、ステップＳ５０５で通信状況が良いと判定される。

よって、図４のステップＳ４０２はＮｏに分岐する。
ステップＳ４０３で、右目映像フレーム（１６）および左目映像フレーム（１６）ともにレベル２の誤り訂正強度が適用される。

前記の如く、右目及び左目の映像フレームがフレーム（１３）から（１５）までの３フレーム連続で誤り訂正可、又はエラー無しの状況となる。これにより、ＣＧ重畳外部ＰＣ１０５からフレーム（１５）の誤り訂正可通知パケットがＨＭＤ２００に対して送信されたタイミングで、ＨＭＤ２００は通信状況の変化を検知する。続くフレーム（１６）からは通信状況が良いと判定された場合の誤り訂正適用処理、即ちレベル２の誤り訂正強度の誤り訂正パケットが生成、送信される。

本実施例では、各誤り訂正レベルの強度を固定しているが、通信状況の変化に応じて動的に変更してもよい。
例えば、通常時は左目映像フレームパケット群に対する誤り訂正パケットも右目映像フレームパケット群に対する誤り訂正パケットも訂正強度を２に設定する。
そして、通信状況が悪化した場合は、左目映像フレームパケット群に対する誤り訂正パケット群又は右目映像フレームパケット群に対する誤り訂正パケットのいずれか一方の訂正強度を１に、他方の訂正強度を３に設定する。
そして、通信状況がさらに悪化した場合は、左目映像フレームパケット群に対する誤り訂正パケット群又は右目映像フレームパケット群に対する誤り訂正パケットのいずれか一方の訂正強度を２に、他方の訂正強度を６に設定してもよい。

図９に通信状況がさらに悪化した場合における誤り訂正適用例を示す。同図に示す例では、通信状況のさらなる悪化を検知して、
右目映像フレーム（２５）に適用するレベル１の誤り訂正強度を２とし、左目映像フレーム（２５）に適用するレベル３の誤り訂正強度を６とし、
右目映像フレーム（２６）に適用するレベル３の誤り訂正強度を６とし、左目映像フレーム（２６）に適用するレベル１の誤り訂正強度を２としている。

また、誤り訂正強度の選択肢として、誤り訂正を適用しないという選択も含まれる。
例えば、通常時は、左右共に誤り訂正強度を２（エラー２個まで回復可能）とし、通信状況が悪化した場合は、左右いずれか一方の誤り訂正強度を４（エラー４個まで回復可能）とし、他方の誤り訂正強度を０とする。誤り訂正強度が０の場合には、誤り訂正パケットが生成されない場合が含まれる。

図１０に、通信状況が悪化した場合に、左目右目のいずれか一方に対応する映像フレームパケット群に対して、誤り訂正を適用しない例を示す。同図に示す例では、通信状況の悪化を検知して、
右目映像フレーム（３４）には誤り訂正を適用せず、左目映像フレーム（３４）に適用する誤り訂正強度を４とし、
右目映像フレーム（３５）に適用する誤り訂正強度を４とし、左目映像フレーム（３４）には誤り訂正を適用していない。

＜強度設定手段が、二段階の誤り訂正強度を設定する場合＞
また、通信状況が良いときは、
左目映像フレームパケット群と
左目映像フレームパケット群に対する誤り訂正パケット（訂正強度２）と
右目映像フレームパケット群と
右目映像フレームパケット群に対する誤り訂正パケット（訂正強度２）と
が生成され、送信されるが、
通信状況が悪いときは、
左目映像フレームパケット群と
左目映像フレームパケット群に対する誤り訂正パケット（訂正強度４）と
が生成され、送信されるが、
右目映像フレームパケット群も
右目映像フレームパケット群に対する誤り訂正パケットも
生成されず、送信されないとしても良い。
この場合は、強度設定手段が、「二」段階の誤り訂正強度を設定する場合である。

また、本実施例では、ＨＭＤ２００から誤り訂正パケットを生成、送信する形態で説明したが、ＣＧ重畳外部ＰＣ１０５においても誤り訂正パケットを生成、送信する形態でも本発明を実施できる。また、ＨＭＤ２００からは誤り訂正パケットを生成、送信せずにＣＧ重畳外部ＰＣ１０５からのみ誤り訂正パケットを生成、送信してもよい。その場合は、本発明をＣＧ重畳外部ＰＣ１０５に適用することになる。更に、本実施例では無線ＭＲシステムを例に説明したが、左右のステレオ映像データを、ネットワークを介して送信する形態のユースケース全般に適用することができる。

［実施例２］
本実施例では、左目及び右目に対応する映像フレームデータをＨ．２６４／ＭＶＣのように視差情報や動きベクトルを用いたフレーム間予測による映像符号化方式で圧縮された映像フレームデータにおいて、本発明を適用した例について説明する。
システム構成（図１）やハードウェア構成（図２）、モジュール構成（図３）については、実施例１と同様であるため、説明は省略する。
また、誤り訂正レベル切り替え処理（図４）や通信状況判定処理（図５）についても、処理の流れは実施例１と同様であるため、説明は省略する。
通信状況把握部３０９において、通信状況が良いと判定されている場合（図６）についても実施例１と同様であるため、説明は省略する。

図１１（ａ）は、視差情報や動きベクトルを用いた参照型の映像符号化方式で圧縮された映像フレームデータの例である。図中のＩ、Ｐ、ＢはそれぞれＩ（Ｉｎｔｒａ−ｃｏｄｅｄ）フレーム、Ｐ（Ｐｒｅｄｉｃｔｅｄ）フレーム、Ｂ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ）フレームを意味する。
Ｉフレームは、フレーム内符号化方式を用いて符号化され、ＰフレームとＢフレームは、フレーム間符号化方式を用いて符号化される。Ｂフレームは左右映像の相関を用いて符号化される。ＭＲシステムのように左右の二つの映像をフレーム間予測方式で符号化する場合、左右どちらかの映像に他フレームを参照しないＩフレームが含まれる。

ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では、Ｉフレームからはじまるフレーム群をＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）として定義している。
本実施例では、ＧＯＰ毎にＩフレームを挿入する左右の映像を切り替える。９０１をＧＯＰ（１）、９０２をＧＯＰ（２）、９０３をＧＯＰ（３）とすると、ＧＯＰ（１）９０１では右目映像にＩフレームを適用し、ＧＯＰ（２）９０２では左目映像にＩフレームを適用、ＧＯＰ（３）９０３では再び右目映像にＩフレームを適用する。
本実施例では、各ＧＯＰのＧＯＰ長を４フレームとしている。このため、Ｉフレームを挿入する左右の映像の切り替え周期は４フレームとなるが、Ｉフレームを挿入する左右の映像の切り替え周期は４フレームに限らないし、通信状況やフレームレートに応じて動的に変更してもよい。

図１１（ｂ）は、通信状況把握部３０９において、通信状況が悪いと判定されている場合に、誤り訂正を適用している例である。通信状況が悪いと判定されている場合、実施例１同様に、タイミングに応じて誤り訂正レベルを左右映像で切り替える。ここで、切り替えるタイミングはＧＯＰ単位となる。また、誤り訂正レベルの適用において、誤り訂正強度の強いレベルを、Ｉフレームを適用した映像フレーム群に対して適用する。

９１１〜９１９をＧＯＰ（１１）〜ＧＯＰ（１９）とする。ＧＯＰ（１１）〜ＧＯＰ（１３）の送信開始時においては通信状況が悪くないと判定され、ＧＯＰ（１１）〜ＧＯＰ（１３）には左右映像ともに誤り訂正レベル２を適用している。しかし、ＧＯＰ（１４）９１４の送信開始前に通信状況が悪いと判定されたとする。
ＧＯＰ（１４）９１４においては、右目映像にＩフレームを適用しているため、右目映像フレーム群に誤り訂正レベル３を適用し、左目映像フレーム群に誤り訂正レベル１を適用している。
続くＧＯＰ（１５）９１５においては、左目映像にＩフレームを適用しているため、左目映像フレーム群に誤り訂正レベル３を適用し、右目映像フレーム群に誤り訂正レベル１を適用する。

ＧＯＰ（１６）９１６においては、右目映像にＩフレームを適用しているため、右目映像フレーム群に誤り訂正レベル３を適用し、左目映像フレーム群に誤り訂正レベル１を適用している。
ＧＯＰ（１７）９１７においては、左目映像にＩフレームを適用しているため、左目映像フレーム群に誤り訂正レベル３を適用し、右目映像フレーム群に誤り訂正レベル１を適用する。

そして、ＧＯＰ（１８）９１８の送信開始前に通信状況が悪くないと判定され、ＧＯＰ（１８）９１８、ＧＯＰ（１９）９１９では左右映像ともに誤り訂正レベル２を適用している。

なお、通信状況把握処理及び誤り訂正適用レベル切り替え処理に関して、本実施例では、１ＧＯＰ単位で処理しているが、２ＧＯＰ以上の単位で処理してもよい。
また、誤り訂正強度や通信状況変更判定の閾値等が動的変更可能である点は実施例１と同様である。
本実施例では、時間軸において未来方向へのフレーム参照をしていないが、参照する形態でも本発明は実施できる。

［その他の実施例］
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの（又は圧縮され自動インストール機能を含むファイル）をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことが可能である。

１０１ ＭＲシステムユーザ
１０２ 無線ルータ
１０３ 右目撮像フレームパケット群
１０４ 左目撮像フレームパケット群
１０５ ＣＧ重畳外部ＰＣ
１０６ ＣＧ重畳済右目映像フレームパケット群
１０７ ＣＧ重畳済左目映像フレームパケット群
２００ ＨＭＤ（頭部装着型表示装置）
２１１ データバス
３００ パケット送受信プログラム
９０１ ＧＯＰ（１）
９０２ ＧＯＰ（２）
９０３ ＧＯＰ（３）

Claims (13)

1. 第１のコンテンツデータと第２のコンテンツデータとを、受信装置に送信する送信装置であって、
   前記送信装置と、前記受信装置との間の通信状況を把握する通信状況把握手段と、
   前記通信状況に基づいて、前記送信されたコンテンツデータのうち前記受信装置が正常に受信しなかったコンテンツデータを前記受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、前記第１のコンテンツデータ、前記第２のコンテンツデータそれぞれに対して設定する設定手段と、
   前記第１のコンテンツデータおよび前記第２のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第１の誤り訂正用データ及び第２の誤り訂正用データを生成する誤り訂正データ生成手段と、
   前記第１のコンテンツデータ、前記第２のコンテンツデータ、前記第１の誤り訂正用データ、および前記第２の誤り訂正用データを前記受信装置に送信する送信手段と、を備えることを特徴とする送信装置。
2. 前記通信状況把握手段は、前記通信状況が所定の条件を満たしているかを判定し、
   前記設定手段は、前記通信状況把握手段が前記通信状況が所定の条件を満たしていると判定した場合に、前記第１の誤り訂正用データに、前記第２の誤り訂正用データよりも大きい誤り訂正強度を設定し、所定の間隔ごとに、前記誤り訂正強度を、前記第１の誤り訂正用データと前記第２の誤り訂正用データとで切り替えるように設定することを特徴とする請求項１に記載の送信装置。
3. 前記送信手段は、前記第１のコンテンツデータおよび前記第２のコンテンツデータそれぞれを、パケットに分割して送信し、
   前記設定手段は、前記分割されたパケットごとに、前記誤り訂正強度を、前記第１の誤り訂正用データと前記第２の誤り訂正用データとで切り替えるように設定することを特徴とする請求項２に記載の送信装置。
4. 更に、前記第１のコンテンツデータおよび前記第２のコンテンツデータそれぞれを符号化する符号化手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の送信装置。
5. 前記受信装置から通信状況を知らせるレポートパケットを受信するレポートパケット受信手段と、をさらに備え、
   前記通信状況把握手段は、前記受信したレポートパケットの内容から通信状況を把握することを特徴とする請求項１乃至４のいずれか１項に記載の送信装置。
6. 前記レポートパケットは、通信エラー情報を含むことを特徴とする請求項５に記載の送信装置。
7. 前記レポートパケットは、前記誤り訂正用データによる回復可否情報を含むことを特徴とする請求項５又は６に記載の送信装置。
8. 前記受信装置からコンテンツデータを受信する受信手段をさらに備え、
   前記通信状況把握手段は、前記受信手段による受信の結果から通信状況を把握することを特徴とする請求項１乃至７のいずれか１項に記載の送信装置。
9. 前記設定手段は、前記通信状況把握手段により通信状況が所定の条件を満たしていないと判定された場合に、前記第１のコンテンツデータ、前記第２のコンテンツデータそれぞれ同じ誤り訂正強度を設定することを特徴とする請求項１乃至８のいずれか１項に記載の送信装置。
10. 前記送信装置または前記受信装置のいずれか一方は、頭部装着型表示装置であり、前記第１のコンテンツデータ、前記第２のコンテンツデータそれぞれは、前記頭部装着型表示装置を装着するユーザの左右の眼に対応して撮像された映像データであることを特徴とする請求項１乃至９のいずれか１項に記載の送信装置。
11. 前記コンテンツデータは、ＣＧを含むデータであることを特徴とする請求項１乃至１０のいずれか１項に記載の送信装置。
12. 第１のコンテンツデータと第２のコンテンツデータとを、送信装置から受信装置に送信する送信方法であって、
    前記送信装置と、前記受信装置との間の通信状況を把握する通信状況把握ステップと、
    前記通信状況に基づいて、前記送信されたコンテンツデータのうち前記受信装置が正常に受信しなかったコンテンツデータを前記受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、前記第１のコンテンツデータ、前記第２のコンテンツデータそれぞれに対して設定する設定ステップと、
    前記第１のコンテンツデータおよび前記第２のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第１の誤り訂正用データ及び第２の誤り訂正用データを生成する誤り訂正データ生成ステップと、
    前記第１のコンテンツデータ、前記第２のコンテンツデータ、前記第１の誤り訂正用データ、および前記第２の誤り訂正用データを前記受信装置に送信する送信ステップと、を含むことを特徴とする送信方法。
13. 請求項１乃至１１のいずれか１項に記載の送信装置が有する各手段としてコンピュータを機能させるためのプログラム。
    
    
    

Images