JP7082994B2 - 光通信を利用した大容量のサプリメンタルダウンリンクを可能とする通信システム、表示制御装置、通信端末及びプログラム - Google Patents

Description

本発明は、通信システム、表示制御装置、通信端末及びプログラムに関する。

画像表示装置による表示画像に送信データを符号化する可視光通信技術が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］国際公開第２０１４／１０３３２９号

解決しようとする課題

端末等に付属するカメラを受信機とし、屋内、屋外に設置されたディスプレイ装置、プロジェクタ、あるいはプロジェクションマッピングの為のプロジェクター、デジタルサイネージ、あるいはそれらを利用した照明機器等として再定義したもの（天井の規格のパネルを照明器具としてディスプレイ装置を使用したパネルで、本発明で使用するサプリメンタルダウンリンク兼、照明パネルとしたもの）を送信機として利用し、光下り通信を実現し、端末等の補助的なダウンリンクを実現し、効率的な高速通信を可能にする。

ＰｕｒｅＬｉＦｉでは、頑張り過ぎのハイスピードレーザーを用いて超高速ギガビット通信を実現しようとしているが、そのようなことをするまでもなく、通常のディスプレイパネルと通常のＣＣＤはピクセルが多数搭載されているため、新たなデバイスを開発せずにギガビットを超える通信速度が達成され、かつそれは十分効率的に動画が表示、撮像されている。ＵＳＢ３．１のディスプレイ、カメラに至っては１０Gbpsの伝送速度が容易に実現されている。高価な素子や先端技術を利用することなく、先述の既存デバイスをそのまま利用する点が本発明の特長である。これまで通信システムで用いられてきた空間分割多重（ＳＤＭＡ）とは異なり、LOS(Line of sight)同士で空間を交差して多重化している。縦横無尽に多重化されている点も本発明の特長である。

一般的開示

本発明の第１の態様によれば、表示部に映像を表示させる表示制御装置と、表示部によって表示された映像を撮像する撮像部を有する通信端末とを備える通信システムが提供される。表示制御装置は、表示対象の映像を取得する映像取得部を有してよい。表示制御装置は、映像取得部が取得した映像のうち、変化しない領域又は変化量が予め定められた閾値より低い領域を特定する領域特定部を有してよい。表示制御装置は、領域特定部によって特定された領域に送信データを光通信信号として符号化した符号化映像を生成する映像生成部を有してよい。表示制御装置は、符号化映像を表示部に表示させる表示制御部を有してよい。通信端末は、撮像部によって撮像された映像のうち、送信データが符号化された領域を識別する領域識別部を有してよい。通信端末は、領域識別部によって識別された領域から送信データを復号化する復号化部を有してよい。

上記撮像部は指定されたレートで動画を記録することができる。撮像とは、静止画ではなく６０ｆｐｓ等の動画であってよい。撮像部の記録レートと表示部の表示レートは同期させてもよい。同期させることを前提としたシステムの場合は、同期がずれた際にはテレビをカメラで撮影したような縞模様（ノイズ）が記録され、復号化する際にエラーとなる。また、映像投影装置、映像取得部は、その場所ごとの交流に同期しゼロクロスタイミングで映像取得するのが望ましい。(50Hzなら100Hz、60Hzなら120Hzで)。

上記領域特定部は、上記映像取得部が取得した上記映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定してよい。上記映像生成部は、上記送信データを符号化した領域以外の領域に、上記送信データを符号化した領域を示す領域情報を光通信信号として符号化した上記符号化映像を生成してよく、上記領域識別部は、上記撮像部によって撮像された映像のうち、上記領域情報が符号化された領域を識別して、当該領域から上記領域情報を復号化し、上記領域情報が示す領域を、上記送信データが符号化された領域として識別してよい。上記映像生成部は、上記送信データを符号化した領域以外の領域に、上記通信端末を識別する端末識別情報を光通信信号として符号化した上記符号化映像を生成してよい。上記映像生成部は、上記表示装置を識別する表示装置識別情報を、上記送信データを符号化した領域以外の領域に光通信信号として符号化した上記符号化映像を生成してよい。

上記通信端末は、上記撮像部が撮像する上記映像の受信輝度レベル及び受信ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）を測定する測定部と、上記測定部による測定結果を上記表示制御装置に送信する測定結果送信部とを有してよく、上記表示制御装置は、上記測定結果を受信する測定結果受信部と、上記測定結果に基づいて、上記表示部による表示の輝度レベルを調整する輝度レベル調整部とを有してよい。上記映像取得部は、上記表示部によるスクリーンセーバ映像を取得してよく、上記映像生成部は、上記スクリーンセーバ映像の特定領域に送信データを符号化した符号化映像を生成してよく、上記表示制御部は、上記符号化映像をスクリーンセーバとして、上記表示部に表示させてよく、上記測定部は、上記復号化部によって復号化された送信データに基づいて、上記受信輝度レベル及び上記受信ＳＮＲを測定してよい。上記測定結果送信部は、光通信を用いずに、上記測定結果を上記表示制御装置に送信してよい。

上記通信端末は、上記表示制御部による表示映像に対してアフィン変換を施し表示映像を正四角形に変換する撮像変換部と、上記変換時の情報に基づいて、上記撮像部による撮像の指向性を調整する指向性調整部とを有してよい。上記表示制御装置は、上記撮像部によって撮像された映像に関する撮像映像情報を上記通信端末から受信する情報受信部を有してよく、上記映像生成部は、上記撮像映像情報に基づいて上記符号化映像を生成してよい。上記映像生成部は、上記撮像映像情報に基づいて、上記送信データの各情報を割り当てる画素数を変更してよい。上記撮像映像情報は、上記表示部によって表示されている映像のうち、上記撮像部によって撮像できない領域を示してよく、上記映像生成部は、上記領域特定部によって特定された領域から、上記撮像部によって撮像できない領域を除外した領域に、送信データを光通信信号として符号化した符号化映像を生成してよい。

上記表示部は、プロジェクタであってよく、上記撮像部は、上記プロジェクタによって投影面に投影された光を撮像してよい。上記映像生成部は、内容が変化しない映像に送信データを光通信信号として符号化した符号化映像を生成してよい。上記通信端末は、
上記撮像部によって上記映像を撮像できない場合に、通知データを上記表示制御装置に送信する通知データ送信部を有してよく、上記映像生成部は、上記通知データを受信した場合、上記映像全体の輝度変調によって上記送信データを光通信信号として符号化した符号化映像を生成してよい。上記表示制御装置は、上記送信データを無線基地局のベースバンド装置にてＩＱベクトル信号に変換した信号を、上記ベースバンド装置から送信するＣＰＲＩ（Ｃｏｍｍｏｎ Ｐｕｂｌｉｃ Ｒａｄｉｏ Ｉｎｔｅｒｆａｃｅ）インタフェースと、上記表示部に映像信号を伝送するインターフェイス（ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等）と、上記ＣＰＲＩインタフェース上のＩＱ信号（複素デジタル信号の同相（Ｉｎ－ｐｈａｓｅ）および直交（Ｑｕａｄｒａｔｕｒｅ）成分からなるベースバンド信号）からＲＧＢＩ信号に変換して送信する回路とを有してよい。上記無線基地局のベースバンド装置は、ＣＰＲＩ信号をＨＤＭＩ（登録商標）に変換して送信する機能を有してよく、上記表示制御装置は、上記ベースバンド装置からのＩＱ信号をＨＤＭＩ（登録商標）インターフェイスから送信してよい。

上記無線基地局のベースバンド装置がＨＤＭＩインターフェイスを有していないとき、上記ベースバンド装置と上記表示制御装置の間に、ＣＰＲＩ信号をＨＤＭＩ（登録商標）に変換する装置を経由してよい。

本発明の第２の態様によれば、表示制御装置が提供される。表示制御装置は、表示対象の映像を取得する映像取得部を備えてよい。表示制御装置は、映像取得部が取得した映像のうち、変化しない領域又は変化量が予め定められた閾値より低い領域を特定する領域特定部を備えてよい。表示制御装置は、領域特定部によって特定された領域に送信データを光通信信号として符号化した符号化映像を生成する映像生成部を備えてよい。表示制御装置は、符号化映像を表示部に表示させる表示制御部を備えてよい。

本発明の第３の態様によれば、コンピュータを、上記表示制御装置として機能させるためのプログラムが提供される。

本発明の第４の態様によれば、通信端末が提供される。通信端末は、表示装置によって表示される映像のうち、送信データが光通信信号として符号化されている領域を示す領域情報を取得する領域情報取得部を備えてよい。通信端末は、撮像部によって撮像された映像のうち、領域情報に基づいて、送信データが符号化された領域を識別する領域識別部を備えてよい。通信端末は、領域識別部によって識別された領域から送信データを復号化する復号化部を備えてよい。

本発明の第５の態様によれば、コンピュータを、上記通信端末として機能させるためのプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

通信システム１０の一例を概略的に示す。 表示装置１００及び通信端末２００の構成例を概略的に示す。 通信システム１０の他の一例を概略的に示す。 表示装置１００及び通信端末２００の構成例を概略的に示す。 ＳＴＢ１０１とＢＢＵ１０３との接続関係を概略的に示す。 表示装置１００の機能構成の一例を概略的に示す。 通信端末２００の機能構成の一例を概略的に示す。 表示装置１００による表示例を概略的に示す。 表示装置１００による表示例を概略的に示す。 通信端末２００による撮像映像の表示例を概略的に示す。 通信端末２００による撮像映像の表示例を概略的に示す。 表示装置１００による同期信号４１０及び呼出信号４２０の一例を概略的に示す。 通信フェーズにおける表示装置１００による表示例を概略的に示す。 通信フェーズにおける表示装置１００による表示例を概略的に示す。 投影映像１０８の一例を概略的に示す。 通信開始の制御メッセージシーケンス（例）を概略的に示す。 表示装置１００側の通信開始のフローチャート（例）を概略的に示す。 表示装置１００側の通信中のフローチャート（例）を概略的に示す。 通信端末２００側の通信開始のフローチャート（例）を概略的に示す。 通信端末２００側の通信中のフローチャート（例）を概略的に示す。 通信中における再送シーケンス（例）を概略的に示す。 通信終了のフローチャートを概略的に示す。 スリープ移行のフローチャートを概略的に示す。 ハンドオーバーのフローチャートを概略的に示す。 Ｓｅｔ Ｔｏｐ Ｂｏｘ内部ブロック図（例）を概略的に示す。 Ｓｅｔ Ｔｏｐ Ｂｏｘ内部動作フローチャート（例）を概略的に示す。 送信解像度決定のフローチャートを概略的に示す。 データ重畳位置決定のフローチャートを概略的に示す。 データ符号化のアルゴリズムを概略的に示す。 送信光のホワイトノイズ化に関するアルゴリズムを概略的に示す。 主要な実施例１（赤外線光源を使用したDLPを用いる例）を示す。 主要な実施例２（オフィスの天井照明）を示す。 主要な実施例３（ドーム球場の天井）を示す。 主要な実施例３.１（ドーム球場の天井）を示す。 主要な実施例３.１（ドーム球場の天井）を示す。 主要な実施例４（ドーム球場のドローンカメラ）を示す。 主要な実施例５（複数カメラでの受信）を示す。 主要な実施例６（モータードライブカメラ）を示す。 主要な実施例７（魚眼レンズプロジェクター）を示す。 通信端末２００として機能するコンピュータ９００のハードウエア構成の一例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、通信システム１０の一例を概略的に示す。通信システム１０は、表示装置１００及び通信端末２００を備える。

表示装置１００と通信端末２００とは、いわゆる光通信を実行する。例えば、表示装置１００が、表示対象の映像に送信データを光通信信号として符号化した符号化映像を生成して表示し、通信端末２００が、表示装置１００によって表示された映像を撮像して、光通信信号を復号化して送信データを取得する。通信システム１０が利用する光通信方式の一例として、輝度変調やＲＧＢ変調による方式が挙げられるが、これに限らず、任意の方式を用いてよい。

表示装置１００が表示する映像は任意の映像であってよく、表示装置１００は任意の表示デバイスであってよい。表示装置１００の例としては、テレビ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のディスプレイ、及びデジタルサイネージ等が挙げられる。また、表示装置１００の例として、照明を主目的としつつ映像も表示可能な照明装置も挙げられる。

表示装置１００は、表示制御装置の一例であってよい。表示装置１００の全体が表示制御装置の一例であってよい。また、表示装置１００の一部が表示制御装置の一例であってもよい。例えば、表示装置１００における表示部以外の部分が表示制御装置の一例であってもよい。具体例としては、表示装置１００におけるモジュール及びチップ等が表示制御装置の一例であってよい。

通信端末２００は、撮像部及び通信機能を有していればどのような端末であってもよい。通信端末２００の例としては、スマートフォン、タブレット端末、及び、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）等が挙げられる。

本実施形態に係る表示装置１００は、例えば、表示対象の映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域等を特定し、特定した領域に送信データを光通信信号として符号化した符号化映像を生成し、表示する。

このように、映像のうち予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域に送信データを符号化することによって、表示装置を用いた従来の光通信に比べて通信スループットを向上させることができる。従来の光通信では、表示映像に対して単に送信データを符号化するので、空間解像度が低く十分なスループットを得ることができず、ＵＲＬ等のデータ量の少ない送信データを送信できるに過ぎない。これに対して、本実施形態に係る表示装置１００によれば、映像のうち情報エントロピーの変化量の少ない領域を空間的に分割して使用するので、効率的に十分高速なスループットを得ることができる。

また、本実施形態に係る通信システム１０においては、表示装置１００と通信端末２００との間のいわゆる通信制御を、ネットワーク５０を介した通信によって実現してよい。このとき、表示装置１００及び通信端末２００は、ネットワーク５０を介して管理装置３００と通信してよい。

ネットワーク５０は任意のネットワークであってよく、ネットワーク５０を介した通信の方式としては、例えば、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、４Ｇ（４ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式等のモバイル通信方式、並びに、ＷｉＦｉ（登録商標）、ＡＤＳＬ、ケーブルモデム等を含むインターネット通信技術、ＬＰＷＡ（ＬｏＲａ、ＮＢ－ＩｏＴ、ｅＭＴＣを含む）等が例示できる。

通信システム１０において、例えば、通信端末２００が、自身を識別する端末識別情報を、管理装置３００を介して表示装置１００に送信し、表示装置１００が送信データとともに当該識別情報を用いて符号化した符号化映像を表示する。通信端末２００が、送信データを自身の保有する端末識別情報を用いて復号化することによって、表示装置１００と特定の通信端末２００との間でのみ光通信を実行でき、従来の光通信では実現できなかったユニキャストサービスを実現することができる。

図２は、図１に示す表示装置１００及び通信端末２００の構成例を概略的に示す。図２に示す例において、表示装置１００は、ＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）１０１、コンピュータ１０２、ＢＢＵ（Ｂａｓｅ Ｂａｎｄ Ｕｎｉｔ）１０３、及びディスプレイ１０４を備える。また、通信端末２００は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）センサ２０１、ＣＰＵ２０２、ディスプレイ２０３、及び通信モデム２０４を備える。

ＳＴＢ１０１は、表示対象の映像をコンピュータ１０２から取得する。また、ＳＴＢ１０１は、送信データをＢＢＵ１０３から取得する。ＢＢＵ１０３は、例えば、表示装置１００から通信端末２００に送信すべき送信データを、ネットワーク５０を介して任意の端末等から受信して、ＳＴＢ１０１に送信してよい。

ＳＴＢ１０１は、コンピュータ１０２から取得した映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定する。そして、ＳＴＢ１０１は、特定した領域内の領域に、送信データの領域を示す領域情報を光通信信号として符号化し、ＢＢＵ１０３から取得した送信データを、上記領域情報にて示された領域に光通信信号として符号化した符号化映像を生成して、ディスプレイ１０４に表示させる。

ＣＭＯＳセンサ２０１は、ディスプレイ１０４に表示された映像を撮像する。ＣＰＵ２０２は、ＣＭＯＳセンサ２０１から当該映像を取得し、映像データと通信復号化用映像に分離して、映像データをディスプレイ２０３に、通信復号化用映像を通信モデム２０４に送信する。ディスプレイ２０３は、映像データを表示する。通信モデム２０４は、符号化された領域情報を復号化し、当該領域情報を用いて、送信データを復号化する。

図３は、通信システム１０の他の一例を概略的に示す。ここでは、図１とは異なる点を主に説明する。

図３における表示装置１００は、映像を投影する。表示装置１００が投影した映像を投影映像１０８と記載する。表示装置１００が表示する映像は任意の映像もしくは赤外線による不可視の映像であってよく、表示装置１００は任意の表示デバイスであってよい。表示装置１００の例としては、プロジェクタ、プロジェクションマッピング、及びデジタルサイネージ等が挙げられる。また、表示装置１００の例として、照明を主目的としつつ映像も表示可能な照明装置も挙げられる。

図４は、図３に示す表示装置１００及び通信端末２００の構成例を概略的に示す。ここでは、図２とは異なる点を主に説明する。

図４に示す例において、表示装置１００は、ＳＴＢ１０１、コンピュータ１０２、ＢＢＵ１０３、及びプロジェクタ１０５を備える。ＳＴＢ１０１は、表示対象の映像をコンピュータ１０２から取得する。また、ＳＴＢ１０１は、送信データをＢＢＵ１０３から取得する。

ＳＴＢ１０１は、コンピュータ１０２から取得した映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定する。そして、ＳＴＢ１０１は、特定した領域内の領域に、特定した領域を示す領域情報を光通信信号として符号化し、ＢＢＵ１０３から取得した送信データを特定した領域に光通信信号として符号化した符号化映像を生成して、プロジェクタ１０５に表示させる。

ＣＭＯＳセンサ２０１は、プロジェクタ１０５によって投影された投影映像１０８を撮像する。映像が投影される対象は任意の場所であってよく、例えば、ビル等の建物の壁面に投影されてよい。ＣＰＵ２０２は、ＣＭＯＳセンサ２０１から当該映像を取得し、映像データと通信復号化用映像に分離して、映像データをディスプレイ２０３に、通信復号化用映像を通信モデム２０４に送信する。ディスプレイ２０３は、映像データを表示する。通信モデム２０４は、符号化された領域情報を復号化し、当該領域情報を用いて、送信データを復号化する。プロジェクタ１０５が効果を発揮するのは、主に夜間となる。

図５は、ＳＴＢ１０１とＢＢＵ１０３との接続関係を概略的に示す。ＳＴＢ１０１とＢＢＵ１０３とは、変換器１０６を介して接続される。ＳＴＢ１０１と変換器１０６とは、ＨＤＭＩを介して通信する。変換器１０６とＢＢＵ１０３とは、ＣＰＲＩを介して通信する。

図６は、表示装置１００の機能構成の一例を概略的に示す。表示装置１００は、情報受信部１１２、送信データ取得部１１４、映像取得部１１６、領域特定部１１８、映像生成部１２０、表示制御部１２２、測定結果受信部１２４、及び輝度レベル調整部１２６を備える。なお、表示装置１００がこれらのすべての構成を備えることは必須とは限らない。

情報受信部１１２は、各種情報を受信する。情報受信部１１２は、ネットワーク５０を介して情報を受信してよい。情報受信部１１２は、例えば、通信制御に関する情報を、管理装置３００からネットワーク５０を介して受信する。情報受信部１１２は、例えば、通信相手の通信端末２００を識別する端末識別情報を、管理装置３００から受信する。また、情報受信部１１２は、例えば、通信端末２００に対して送信すべき送信データを、ネットワーク５０を介して受信する。

表示装置１００は、端末識別情報を光通信を通じて通信端末２００に通知してもよい。

送信データ取得部１１４は、通信端末２００に送信すべき送信データを取得する。送信データ取得部１１４は、表示装置１００のメモリに格納されている送信データを読み出してよい。また、送信データ取得部１１４は、情報受信部１１２が受信した送信データを、情報受信部１１２から取得してよい。

映像取得部１１６は、表示対象の映像を取得する。映像取得部１１６は、表示装置１００のメモリに格納されている映像を読み出してよい。映像取得部１１６は、例えば、コンピュータ１０２から映像を取得する。映像取得部１１６は、表示対象の映像として、スクリーンセーバ映像を取得してもよい。

領域特定部１１８は、映像取得部１１６が取得した映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定する。領域特定部１１８は、例えば、映像のうち、変化しない領域を特定する。領域特定部１１８は、映像のうち、予め定められた期間、輝度及び色情報が変化しない領域を特定してよい。また、領域特定部１１８は、例えば、映像のうち、変化量が予め定められた閾値より低い領域を特定する。領域特定部１１８は、映像のうち、予め定められた期間、輝度及び色情報の変化量が予め定められた閾値より低い領域を特定してよい。予め定められた期間は、変更可能であってよい。また、予め定められた閾値は、変更可能であってよい。

映像生成部１２０は、映像取得部１１６が取得した映像に、各種情報を符号化した符号化映像を生成する。例えば、映像生成部１２０は、領域特定部１１８が特定した領域に、送信データ取得部１１４が取得した送信データを光通信信号として符号化した符号化映像を生成する。映像生成部１２０は、映像取得部１１６がスクリーンセーバ映像を取得した場合には、スクリーンセーバ映像のうちの、領域特定部１１８が特定した領域に制御信号を符号化した符号化映像を生成してよい。制御信号は、通信端末２００において、受信輝度レベル及び受信ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）を測定する際に用いられる信号であってよい。

また、例えば、映像生成部１２０は、送信データを符号化した領域を示す領域情報を光通信信号として符号化した符号化映像を生成する。映像生成部１２０は、送信データを符号化した領域以外の領域に領域情報を光通信信号として符号化した符号化映像を生成してよい。

また、例えば、映像生成部１２０は、通信端末２００を識別する端末識別情報を光通信信号として符号化した符号化映像を生成する。映像生成部１２０は、送信データを符号化した領域以外の領域に端末識別情報を光通信信号として符号化した符号化映像を生成してよい。

また、例えば、映像生成部１２０は、表示装置１００を識別する表示装置識別情報を光通信信号として符号化した符号化映像を生成する。表示装置識別情報は、表示部識別情報の一例であってよい。映像生成部１２０は、送信データを符号化した領域以外の領域に表示装置識別情報を光通信信号として符号化した符号化映像を生成してよい。

映像生成部１２０は、映像全体が変化しない無変化映像に各種情報を符号化した符号化映像を生成してもよい。

表示制御部１２２は、映像生成部１２０が生成した符号化映像を表示部に表示させる。表示部の例としては、ディスプレイ１０４及びプロジェクタ１０５が挙げられる。表示制御部１２２は、符号化映像をディスプレイ１０４に表示させてよい。また、表示制御部１２２は、符号化映像をプロジェクタ１０５に表示させてよい。表示制御部１２２は、映像生成部１２０によって、スクリーンセーバ映像のうちの、領域特定部１１８が特定した領域に制御信号を符号化した符号化映像が生成された場合、当該符号化映像をスクリーンセーバとして、表示部に表示させてよい。

測定結果受信部１２４は、通信端末２００が、表示制御部１２２によって表示された映像を撮像して測定した、受信輝度レベル及び受信ＳＮＲを、通信端末２００から受信する。

輝度レベル調整部１２６は、測定結果受信部１２４が受信した測定結果に基づいて、表示制御部１２２が制御する表示部による表示の輝度レベルを調整する。

図７は、通信端末２００の機能構成の一例を概略的に示す。通信端末２００は、撮像部２１２、画像処理部２１４、情報通信部２１６、復号化部２１８、測定部２２０、測定結果送信部２２２、位置姿勢取得部２２４、及び指向性調整部２２６を備える。なお、通信端末２００がこれらのすべての構成を備えることは必須とは限らない。

画像処理部２１４は、撮像部２１２が撮像した画像をアフィン変換等の方法で画像処理する。画像処理部２１４は、撮像部２１２が撮像した、表示制御部１２２によって表示された映像を処理してよい。

画像処理部２１４は、映像に光通信信号として符号化されている領域情報を復号化して、領域情報を取得してよい。画像処理部２１４は、領域情報を用いて、撮像部２１２が撮像した映像のうち、送信データが符号化された領域を識別してよい。画像処理部２１４は、領域識別部の一例であってよい。

通信端末２００は、ネットワーク５０を介して端末識別情報を管理装置３００に送信してよく、管理装置３００は、ネットワーク５０を介して表示装置１００の通信の相手方となる通信端末２００の端末識別情報を表示装置１００に送信してよい。この端末識別情報は、表示装置１００から光通信を介して通信端末に通知されてもよい。また、管理装置３００から端末識別情報が新たに発行される場合において、通信端末２００は、ネットワーク５０を介して上記端末識別情報を取得してよい。

また、画像処理部２１４は、端末識別情報を用いて、映像に光通信信号として符号化されている送信データを復号化してよい。これにより、通信端末２００は、映像に符号化されている送信データが、自端末宛のデータである場合にのみ正常に複合することができる。

表示装置１００は、通信の相手方となる通信端末２００毎に異なる符号を生成し、光通信を介して通信端末２００に送信する機能を有してよい。

表示装置１００は、通信の相手方となる通信端末２００毎に異なる符号を用いて送信データのスクランブルを実行してよい。

画像処理部２１４は、表示装置から送信された通信端末毎に異なる符号を用いて、表示装置１００でスクランブルされた送信データのスクランブル解除を実効してよい。

また、画像処理部２１４は、映像に光通信信号として符号化されている表示装置識別情報を復号化して、表示装置識別情報を取得してよい。これにより、通信端末２００は、複数の表示装置１００によって送信される送信データを識別可能になる。

画像処理部２１４は、撮像部２１２が撮像した映像を解析して、当該映像に関する撮像映像情報を情報通信部２１６に送信させてよい。情報通信部２１６は、画像処理部２１４の指示に従って、撮像映像情報を、表示装置１００及び管理装置３００等に送信してよい。

撮像映像情報は、例えば、表示制御部１２２によって表示されている映像のうち、表示装置１００と通信端末２００との間の伝送路の状況によって、通信端末２００が撮像できない領域を示す。例えば、撮像映像情報は、表示制御部１２２によって表示されている映像のうち、表示装置１００と通信端末２００との間の障害物等の存在によって、通信端末２００が撮像できない領域を示す。表示装置１００が当該撮像映像情報を受信した場合、映像生成部１２０は、領域特定部１１８によって特定された領域から、当該撮像映像情報を示す領域を除外した領域に、送信データを光通信信号として符号化した符号化映像を生成してよい。

画像処理部２１４は、例えば、表示装置１００と通信端末２００との距離が離れており、映像に光通信信号として符号化されている送信データ等を認識することができない場合、その旨を示す撮像映像情報を情報通信部２１６にネットワーク５０を介して管理装置３００ならびに表示装置１００に対して送信させてよい。表示装置１００が当該撮像映像情報を受信した場合、映像生成部１２０は、送信データの各情報を割り当てる画素数を変更してよい。例えば、映像生成部１２０は、送信データの各情報を１画素に割り当てていた場合、当該撮像映像情報の受信に応じて、４画素等のより多い画素に、送信データの各情報を割り当てる。

また、画像処理部２１４は、例えば、表示装置１００と通信端末２００との距離が近く、映像への光通信信号の符号化について、解像度を上げても認識できる場合は、その旨を示す撮像映像情報を情報通信部２１６にネットワーク５０を介して管理装置３００ならびに表示装置１００に対して送信させてよい。表示装置１００が当該撮像映像情報を受信した場合、映像生成部１２０は、送信データの各情報を割り当てる画素数を変更してよい。例えば、映像生成部１２０は、送信データの各情報を４画素に割り当てていた場合、当該撮像映像情報の受信に応じて、１画素等のより少ない画素に、送信データの各情報を割り当てる。

画像処理部２１４は、表示制御部１２２によって表示されている映像を、撮像部２１２によって撮像できない場合、その旨を通知する通知データを情報通信部２１６に送信させてよい。画像処理部２１４は、通知データを、表示装置１００に対して送信させてよい。情報通信部２１６は、通知データ送信部の一例であってよい。表示装置１００が通知データを受信した場合、映像生成部１２０は、映像全体の輝度変調によって、送信データ取得部１１４が取得した送信データを光通信信号として符号化した符号化映像を生成してよい。これにより、表示装置１００による表示映像を、通信端末２００が直接撮像できない場合であっても、表示映像の光を間接的にでも撮像することができれば、通信を実現することができる。

復号化部２１８は、画像処理部２１４によって識別された、送信データが符号化されている領域から、送信データを復号化する。復号化部２１８が復号化した送信データは、通信端末２００のメモリに格納されてよい。

測定部２２０は、撮像部２１２が撮像する映像の受信輝度レベル及び受信ＳＮＲを測定する。測定部２２０は、例えば、表示制御部１２２によって表示されたスクリーンセーバ映像から、復号化部２１８が復号化した制御信号を用いて、受信輝度レベル及び受信ＳＮＲを測定してよい。

測定結果送信部２２２は、測定部２２０による測定結果を表示装置１００に送信する。測定結果送信部２２２は、光通信を用いずに測定結果を表示装置１００に送信してよい。測定結果送信部２２２は、測定部２２０による測定結果を、管理装置３００を介して表示装置１００に送信してよい。測定結果送信部２２２によって送信された測定結果を測定結果受信部１２４が受信した場合、輝度レベル調整部１２６は、当該測定結果を用いて、輝度レベルを必要最低限の輝度レベルに調整してよい。

撮像部２１２は、ピンホールカメラやオートフォーカスカメラであってもよい。また、通信端末２００の指向性調整部は、ズーム機構、ジンバル機構、および三次元首振り機構を有しても良い。

撮像部２１２によって撮像された映像のうち、通信に使用する領域が小さく、且つ、通信端末２００が固定されている場合は、上記三次元首振り機構やジンバル機構を用い、且つズーム機構を用いて通信に使用する領域を拡大し、送信データの各情報を割り当てる画素を少なくしてよい。ズーム機構を用いて、表示装置１００を拡大表示している場合、通信端末２００等のブレに対して撮像した映像の範囲から表示装置１００が容易に外れるようになるので、通信端末２００に搭載するＩＭＵ（ジャイロ装置）の情報を基に、通信端末２００が固定され安定している場合において、指向性調整部２２６は、三次元首振り機構を用いて撮像部２１２にて撮像される表示装置１００を拡大してよい。

指向性調整部２２６がズーム機構を有していて三次元首振り機構やジンバル機構を有していない場合で、通信端末２００にブレが発生する場合は、指向性調整部２２６はズームアウトして、撮像部２１２によって撮像される映像の範囲の中に安定して表示装置１００が含まれるように調整してよい。このとき、表示装置１００の通信に使用される画素を多くすることで、表示装置１００から送信される送信データの復号化を安定させてよい。

撮像部２１２で撮像された映像信号は、復号化部２１８に転送されてよい。復号化部２１８の処理はベースバンドＩＣで行われてよい。復号化部２１８は、撮像部２１２で撮像された映像信号から、例えば、参照信号の読み出し、アフィン変換、アンカー信号の同定および復調、データ信号位置の同定および復調を実施する。

復号化部２１８の処理は、ＤＳＰにて実施されてもよい。映像信号を転送されたＤＳＰは、例えば、参照信号の同定、アフィン変換、参照信号の読み出し、映像輝度のイコライジング、アンカー信号の同定およびベースバンド化、データ信号の同定およびベースバンド化等を実施する。ＤＳＰは、上記復号化処理を実施した後、ベースバンドＩＣに受信信号データを転送してよい。

位置姿勢取得部２２４は、表示装置１００による表示映像に対する、通信端末２００の向き及び位置の相対角度を取得する。位置姿勢取得部２２４は、表示装置１００がディスプレイ１０４に映像を表示させている場合は、ディスプレイ１０４に対する通信端末２００の向き及び位置の相対角度を取得してよい。位置姿勢取得部２２４は、表示装置１００がプロジェクタ１０５に映像を表示させている場合は、投影映像１０８に対する通信端末２００の向き及び位置の相対角度を取得してよい。

指向性調整部２２６は、位置姿勢取得部２２４によって取得された向き及び位置の相対角度に基づいて、撮像部２１２による撮像の指向性を調整する。指向性調整部２２６は、表示装置１００による表示映像と、撮像部２１２による撮像方向とが正対するように、撮像部２１２による撮像の指向性を制御してよい。すなわち、指向性調整部２２６は、表示装置１００による表示映像の表示面と、撮像部２１２による撮像方向とが、直交するように、撮像部２１２による撮像の指向性を制御してよい。撮像部２１２が３次元アクチュエータによりレンズを調整する機能を有する場合、指向性調整部２２６は、当該機能によってレンズの向きを変更することによって、表示装置１００による表示映像と、撮像部２１２による撮像方向とが正対するようにしてよい。

通信端末２００は、自身の保持する端末識別情報を元に、撮像部で撮像された範囲に存在する、通信の相手方となる表示装置以外の表示装置の信号を逐次干渉除去技術を用いて除去してよい。

図８は、表示装置１００による表示例を概略的に示す。図８は、領域特定部１１８によって特定された特定領域４００を分割した分割領域４０２及び分割領域４０４のそれぞれに、異なる通信端末２００用の送信データを符号化した場合の表示例を示す。

表示装置１００は、通信端末２００側で干渉除去に使用する通信端末２００ごとに異なる拡散符号を生成してよい。

表示装置１００は、通信端末２００毎に異なる拡散符号を、光通信を介して通信端末２００に送信してよい。

表示装置１００は、通信の相手方となる通信端末２００毎に生成された拡散符号を用いて表示装置１００に表示される映像のスペクトルを拡散してよい。

図８に示すように、表示装置１００は、分割領域４０２に一の通信端末２００用の送信データを符号化して、分割領域４０２を示す領域情報を一の通信端末２００に通知し、分割領域４０４に他の通信端末２００用の送信データを符号化して、分割領域４０４を示す領域情報を他の通信端末２００に通知することによって、複数の通信端末２００との同時ユニキャスト通信を実現する。

図９は、表示装置１００による表示例を概略的に示す。通信端末２００が認識できる解像度は、表示装置１００と通信端末２００との距離等によって異なるところ、図９は、表示装置１００が、通信端末２００が認識できる解像度に合わせて送信データの各情報を割り当てる画素数を変更している場合を概略的に示す。

図９に示す例では、状況８２０の方が状況８１０と比較して、表示装置１００と通信端末２００との間の距離が長く、通信端末２００が認識できる解像度が低いことから、状況８２０における表示装置１００の方が、送信データの各情報を割り当てる画素数をより多くしている。表示装置１００がこのような制御を実行することによって、通信端末２００が認識できる解像度に適した光通信信号の符号化を実現することができる。

図１０は、通信端末２００による撮像映像の表示例を概略的に示す。図１０は、表示装置１００と通信端末２００との間に存在する障害物６００によって、通信端末２００が、特定領域４００の一部を撮像できない状況を示す。

図１１は、表示装置１００によって投影された投影映像１０８が、外部のその他の強い光によって部分的に照射され、通信端末２００が、特定領域４００の一部の情報を認識できない状況を示す。

図１０、および図１１に示す状況において、情報通信部２１６は、表示装置１００によって表示されている映像のうち、障害物６００によって撮像できない領域、もしくは、投影映像１０８のうち、外部の強い光によって認識できない領域を示す撮像映像情報を表示装置１００に送信する。映像生成部１２０は、当該撮像映像情報に基づいて、領域特定部１１８によって特定された特定領域４００から、通信端末２００によって撮像できない領域もしくは、信号を認識できない領域を除外した領域に、送信データ等を符号化した符号化映像を生成してよい。これにより、表示装置１００が特定領域４００に送信データを符号化したにもかかわらず、障害物６００もしくは外部の強い光の存在によってそれを通信端末２００が受信できないという事態の発生を防止することができる。

図１２は、表示装置１００による同期信号４１０及び呼出信号４２０の一例を概略的に示す。表示装置１００は、同期信号４１０を定期的に表示する。表示装置１００は、例えば、３０フレーム毎に同期信号４１０を表示する。図１２では、６つの同期信号４１０を表示する場合を例示しているが、同期信号４１０の数、位置、及び大きさは図１２に示すものに限らず、任意に設定されてよい。

表示装置１００は、同期信号４１０に、表示装置１００を識別する表示装置識別情報を符号化してよい。また、表示装置１００は、同期信号４１０に、表示装置１００の画面の画面解像度情報を符号化してよい。また、表示装置１００は、同期信号４１０に、フレーム番号情報を符号化してよい。同期信号４１０の変調は、例えば、Zadff-Chu系列を用いて変調されてよい。

同期信号４１０を撮像して読み取った通信端末２００は、ネットワーク５０を介して、管理装置３００に通信の相手方とする表示装置１００の同期信号を正常に受信完了した旨を伝えるためにアタッチ完了メッセージを送信する。アタッチ完了メッセージには、通信端末２００を識別する端末識別情報が含まれてよい。また、アタッチ完了メッセージには、同期信号４１０に含まれていた表示装置識別情報が含まれてよい。また、アタッチ完了メッセージには、通信端末２００による受信解像度情報が含まれてよい。

管理装置３００は、通信端末２００から受信した情報を、ネットワーク５０を介して、表示装置１００に送信する。管理装置３００は、通信端末２００から受信した情報のうち端末識別情報に関して、端末個別の情報を保護するために、通信が切断されるまで一時的に使用される別の新たな端末識別情報を生成してよい。表示装置１００が、当該端末識別情報を生成する機能を有してもよい。当該情報を受信した表示装置１００は、同期信号４１０と同じ位置に、呼出信号４２０を表示する。表示装置１００は、呼出信号４２０を定期的に表示してよい。表示装置１００は、例えば、３０フレーム毎に呼出信号４２０を表示する。呼出信号４２０には、通信端末２００の端末識別情報が含まれてよい。呼出信号４２０は、通信対象となる通信端末２００の端末識別情報、および拡張情報が含まれてよい。

通信端末２００は、表示装置１００によって表示された呼出信号４２０を受信して、呼出信号４２０に含まれる端末識別情報と、自らの端末識別情報とが一致した場合、ネットワーク５０を介して、管理装置３００に呼び出し完了メッセージを送信する。管理装置３００は、受信した呼び出し完了メッセージを表示装置１００に送信してよい。

アンカー信号４３０は、送信データを符号化した領域を示す領域情報を光通信信号として符号化した領域に含まれる信号であってよい。呼び出し完了メッセージを受信した表示装置１００は、アンカー信号４３０の位置と、アンカー信号４３０を配置するフレーム番号とを、ネットワーク５０を介して管理装置３００に送信する。アンカー信号４３０が表示される大きさは、通信を開始する準備をする方法に記載されている、受信解像度情報に基づいて決定されてよい。管理装置３００は、受信したアンカー信号４３０に関する情報を、ネットワーク５０を介して通信端末２００に送信する。通信端末２００は、管理装置３００からアンカー信号４３０に関する情報を受信したことに応じて、送信データを符号化した領域の復号を開始する。

図１３は、光通信中における表示装置１００による表示例を概略的に示す。ここでは、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域の一例として、白色の領域を採用した場合を例に挙げる。

領域特定部１１８は、映像取得部１１６が取得した映像を解析して、白色の領域を特定する。映像生成部１２０は、アンカー信号４３０を含み、領域特定部１１８によって特定された特定領域４４０に、送信データ取得部１１４が取得した送信データを可視光通信信号として符号化した符号化映像を生成する。アンカー信号４３０には、特定領域４４０を示す領域情報が含まれる。表示制御部１２２は、映像生成部１２０が生成した符号化映像を表示させる。

通信端末２００は、撮像部２１２によって、表示制御部１２２によって表示された符号化映像を撮像する。画像処理部２１４は、アンカー信号４３０に含まれる、特定領域４４０を示す領域情報を用いて、特定領域４４０を識別する。復号化部２１８は、画像処理部２１４によって識別された特定領域４４０から送信データを復号化する。

映像生成部１２０は、例えば１０フレーム毎等、予め定められたフレーム毎に、特定領域４４０及びアンカー信号４３０の位置に、トレーニング信号を含めてよく、通信端末２００は、当該トレーニング信号を用いて、撮像した映像のイコライジングを行ってよい。これにより、映像の輝度や色情報の均一化を行うことで、正確に送信データを復号することができる。また、映像生成部１２０は、特定領域４４０に送信データを符号化する際に、同一内容を複数フレームに渡って送信してもよい。これにより、送信データが冗長化され、エラー率を低減することができる。

通信端末２００は、受信した送信データにエラーが発生した場合において、ネットワーク５０を介して管理装置３００にエラー情報を送信してよい。管理装置３００は、受信したエラー情報をネットワーク５０を介して表示装置１００に送信してよい。表示装置１００は、受信したエラー情報にもとづいてエラーが発生した送信データを再送してよい。

通信端末２００は、一定期間毎に、受信解像度情報を、ネットワーク５０を介して管理装置３００に送信してよい。管理装置３００は、受信した受信解像度情報をネットワーク５０を介して表示装置１００に送信してよい。表示装置１００は、受信した受信解像度情報に基づいて、アンカー信号４３０の大きさや、送信データの各情報を割り当てる画素数について、調整を実行してよい。

通信端末２００が、光学ズーム機能を有している場合、通信端末２００は、適宜、表示装置１００による表示映像をズームしてよい。また、通信端末２００が、３次元アクチュエータ付のレンズを有している場合、適宜、表示装置１００による表示映像へのズームと、指向性の調整とを実行してよい。通信端末２００が手ぶれ補正機構を有していてよい。

表示装置１００と通信端末２００が正対していない場合、通信端末２００は、適宜表示装置１００による表示映像をアフィン変換してよい。

表示装置１００は、ＣＰＲＩ（Ｃｏｍｍｏｎ Ｐｕｂｌｉｃ Ｒａｄｉｏ Ｉｎｔｅｒｆａｃｅ）インターフェイスと、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）インターフェイスと、ＣＰＲＩインタフェース上のＩＱ信号（複素デジタル信号の同相（Ｉｎ－ｐｈａｓｅ）および直交（Ｑｕａｄｒａｔｕｒｅ）成分からなるベースバンド信号）から光通信信号を変調する回路とを有してもよい。

図１４は、表示装置１００による２つの通信端末２００に対する送信データを符号化した場合の表示例を示す。図１２では、アンカー信号４３２及びアンカー信号４３４、および、それぞれのアンカー信号で示された送信データが符号化された分割領域４４２および４４４の一例を概略的に示す。

図１５は、投影映像１０８の一例を概略的に示す。図１５は、建物５１０内に配置された表示装置１００が、隣接する建物５２０の壁面に投影映像１０８を投影した例を示す。

これにより、表示装置１００は、建物５２０の壁面を撮像できる通信端末２００に送信データを送信することができる。通信端末２００は、地上に位置してもよく、また、建物５１０内に位置してもよい。

図１５では、表示装置１００が上方向に向けて映像を投影する例を示しているが、これに限らず、表示装置１００の向きは任意でよい。

表示装置１００は、建物５２０に投影映像１０８を投影する場合、内容が変化しない映像の一部又は全体に、送信データを光通信信号として符号化した符号化映像を生成して投影してよく、赤外線領域で感度を持つ通信端末２００を通信の相手方として想定する場合においては、赤外線に送信データを光通信信号として符号化した符号化映像を生成して投影して良い。表示装置１００は、内容が変化する映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域に送信データを光通信信号として符号化した符号化映像を生成してもよい。

図１６は、通信端末２００、表示装置１００、５Ｇネットワーク、及び管理装置３００の間の通信開始の制御メッセージシーケンス（例）を示す。本例においては、まず、通信端末２００が、管理装置３００に映像表示装置検知報告（Ａｔｔａｃｈ完了）を送信する。次に、管理装置３００が、端末Ａｔｔａｃｈ通知を映像表示装置１００に送信する。次に、映像表示装置１００が、端末Ａｔｔａｃｈ応答を管理装置３００に送信する。次に、管理装置３００が、ダウンリンク追加通知を５Ｇネットワークに対して送信する。次に、管理装置３００が、ダウンリンク追加応答を５Ｇネットワークから受信する。次に、管理装置３００が、ダウンリンク追加通知を通信端末２００に送信する。次に、管理装置３００が、準備完了通知を５Ｇネットワークに対して送信する。

その後、５Ｇネットワークにおいて、下りデータが発生する。そして、発生したデータが、５Ｇネットワークから、表示装置１００に対して送信される。データを受信した表示装置１００は、通信端末２００に対して端末呼び出しを実行する。次に、通信端末２００が、呼び出し応答を管理装置３００に送信する。管理装置３００は、呼び出し応答通知を表示装置１００に送信する。呼び出し応答通知を受信した表示装置１００は、送信解像度を決定する。そして、表示装置１００は、管理装置３００に対してアンカー信号を割り当てる。管理装置３００は、アンカー信号を通信端末２００に通知する。そして、表示装置１００から、通信端末２００に対して、表示を介したデータ送信が行われる。

図１７は、表示装置１００側の通信開始のフローチャート（例）を概略的に示す。ステップ（ステップをＳと省略して記載する場合がある。）２０２では、管理装置３００から、端末Ａｔｔａｃｈ通知を受信する。Ｓ２０４では、５Ｇネットワークから下りデータを受信する。Ｓ２０６では、通信端末２００に対して端末呼び出しを実行する。Ｓ２０８では、Ｓ２０６における端末呼び出しに対する呼び出し応答通知を受信したか否かを判定する。受信していないと判定した場合、Ｓ２０６に戻り、受信したと判定した場合、Ｓ２１０に進む。Ｓ２１０では、送信解像度を決定する。Ｓ２１２では、アンカー信号を管理装置３００に割り当てる。以上の流れに従って、通信が開始される。

図１８は、表示装置１００側の通信中のフローチャート（例）を概略的に示す。Ｓ２２２では、通信端末２００に対して光通信（アンカー信号割当）を実行する。Ｓ２２４では、データをバッファに格納する。Ｓ２２６では、データ信号の割当、変調等を決定する。Ｓ２２８では、アンカー信号を送信する。Ｓ２３０では、データ信号を送信する。Ｓ２３２では、ＡＣＫを受信したか否かを判定する。ＡＣＫを受信していないと判定した場合、Ｓ２２６に戻り、ＡＣＫを受信したと判定した場合、Ｓ２３４に進む。Ｓ２３４では、データのバッファを開放する。

図１９は、通信端末２００側の通信開始のフローチャート（例）を概略的に示す。５Ｇ接続中に、通信端末２００は、Ｓ３０４において、サプリメンタルダウンリンク機能をＯＮにする。Ｓ３０６では、カメラスキャンを実行する。Ｓ３０８で、表示装置１００を検知した場合、Ｓ３１０に進み、検知していない場合、Ｓ３０６に戻る。Ｓ３１０で、同期信号を検知した場合、Ｓ３１２に進み、検知していない場合、Ｓ３０６に戻る。

Ｓ３１２では、カメラによってスキャンした映像にアフィン変換を施す。Ｓ３１４では、同期信号をデコードする。Ｓ３１６では、Ａｔｔａｃｈ完了を送信する。Ｓ３１８では、ダウンリンク追加通知を受信する。Ｓ３２０では、データ受信を待機する。Ｓ３２２では、カメラスキャンを実行する。Ｓ３２４で、同期信号を検知した場合、Ｓ３２６に進み、検知していない場合、Ｓ３２２に戻る。Ｓ３２６で、呼び出し信号を検知した場合、Ｓ３２８に進み、検知していない場合、Ｓ３２２に戻る。Ｓ３２８では、呼び出し応答を送信する。Ｓ３３０では、アンカー信号通知を受信する。以上の流れに従って、通信が開始される。

図２０は、通信端末２００側の通信中のフローチャート（例）を概略的に示す。Ｓ３４０では、表示装置１００との間で光通信を実行する。Ｓ３４２では、カメラスキャンを実行する。Ｓ３４４で、同期信号を検知した場合、Ｓ３４６に進み、検知していない場合、Ｓ３４２に戻る。

Ｓ３４６では、カメラによってスキャンした画像に画像処理を実行する。Ｓ３４８では、アフィン変換を実行する。Ｓ３５０では、同期信号を受信する。Ｓ３５２では、同期信号をデコードする。Ｓ３５４では、同期信号に基づくイコライジングを実行する。

Ｓ３５６では、アンカー信号を受信する。Ｓ３５８では、アンカー信号をデコードする。Ｓ３６０では、データ信号の位置及び変調方式等を取得する。Ｓ３６２では、データ信号を受信する。Ｓ３６４では、データ信号をデコードする。Ｓ３６６では、バッファに格納する。Ｓ３６８で、エラーが発生したと判定した場合、Ｓ３７６に進み、エラーが発生したと判定していない場合、Ｓ３７０に進む。Ｓ３７０では、５Ｇを経由してＡＣＫを送信する。Ｓ３７２では、バッファをクリアする。

Ｓ３７４では、５Ｇを経由してＮＡＣＫを送信する。Ｓ３７６では、アンカー信号を受信する。Ｓ３７８では、アンカー信号をデコードする。Ｓ３８０では、データ信号の位置及び変調方式等を取得する。Ｓ３８２では、データ信号を受信する。Ｓ３８４では、バッファに格納する。Ｓ３８６で、エラーが発生したと判定した場合、Ｓ３７４に戻り、エラーが発生していないと判定した場合、Ｓ３８８に進む。Ｓ８８０では、５Ｇを経由してＡＣＫを送信する。Ｓ３９０では、バッファをクリアする。

図２１は、通信中における再送シーケンス（例）を概略的に示す。図２１におけるシーケンスにおいては、まず、５Ｇネットワークから表示装置１００に対してデータが送信される。表示装置１００は、データを通信端末２００に送信する。通信端末２００は、データをバッファする。次に、通信端末２００は、ＨＡＲＱ／ＡＣＫを管理装置３００に送信する。そして、通信端末２００は、受信バッファをクリアする。

ＨＡＲＱ／ＡＣＫを受信した管理装置３００は、ＡＣＫを表示装置１００に送信する。表示装置１００は、送信バッファをクリアする。そして、表示装置１００は、通信端末２００に対してデータを送信する。通信端末２００は、データをバッファする。本シーケンスでは、ここでエラーが発生した場合について説明を続ける。

通信端末２００は、ＨＡＲＱ／ＮＡＣＫを管理装置３００に送信する。ＨＡＲＱ／ＮＡＣＫを受信した管理装置３００は、ＮＡＣＫを表示装置１００に送信する。表示装置１００は、通信端末２００に対してデータを再送する。通信端末２００は、データをバッファする。次に、通信端末２００は、ＨＡＲＱ／ＡＣＫを管理装置３００に送信する。そして、通信端末２００は、受信バッファをクリアする。ＨＡＲＱ／ＡＣＫを受信した管理装置３００は、ＡＣＫを表示装置１００に送信する。表示装置１００は送信バッファをクリアする。

図２２は、通信終了のフローチャートを概略的に示す。ここでは、通信端末２００と表示装置１００とが通信中に、通信端末２００が表示装置１００を見失ってからの処理の流れを概略的に示す。

通信端末２００は、表示装置１００を見失ったことに応じてタイマーを起動する。通信端末２００は、タイマーが満了したことに応じて、Ｄｉｓｃｏｎｎｅｃｔを管理装置３００に送信する。管理装置３００は、端末Ｄｉｓｃｏｎｎｅｃｔを表示装置１００に送信する。表示装置１００は、端末Ｄｉｓｃｏｎｎｅｃｔ応答を管理装置３００に送信する。管理装置３００は、Ｄｉｓｃｏｎｎｅｃｔ Ｃｏｍｐｌｅｔｅを通信端末２００に送信する。そして、管理装置３００は、端末ＩＤをクリアする。

図２３は、スリープ移行のフローチャートを概略的に示す。図２３におけるシーケンスにおいては、まず、５Ｇネットワークから表示装置１００に対してデータが送信される。表示装置１００は、データを通信端末２００に送信する。

本例においては、データを受信した通信端末２００が無通信のままスリープタイマが満了したものとして説明を続ける。通信端末２００は、Ｓｌｅｅｐ Ｒｅｑｕｅｓｔを管理装置３００に送信する。管理装置３００は、端末Ｓｌｅｅｐ Ｒｅｑｕｅｓｔを表示装置１００に送信する。表示装置１００は、端末Ｓｌｅｅｐ Ａｃｃｅｐｔを管理装置３００に送信する。管理装置３００は、Ｓｌｅｅｐ Ｃｏｍｐｌｅｔｅを通信端末２００に送信する。通信端末２００は、ＤＲＸタイマを起動する。そして、通信端末２００は、間欠受信の状態となる。

図２４は、ハンドオーバーのフローチャートを概略的に示す。Ｓ４０２では、通信端末２００と表示装置１００とが光通信を実行する。Ｓ４０４では、通信端末２００が、カメラスキャンを実行する。Ｓ４０６では、通信端末２００が、別の同期信号を検知したか否かを判定する。検知したと判定した場合Ｓ４０８に進み、検知していないと判定した場合、Ｓ４０４に戻る。

Ｓ４０８では、通信端末２００が、カメラによってスキャンした画像に画像処理を実行する。Ｓ４１０では、通信端末２００が、アフィン変換を実行する。Ｓ４１２では、通信端末２００が、同期信号を受信する。Ｓ４１４では、通信端末２００が、同期信号をデコードする。Ｓ４１６では、通信端末２００が、受信レベル差の判定を実行し、閾値以上であると判定した場合、Ｓ４１８に進み、閾値未満であると判定した場合、Ｓ４０２に戻る。

Ｓ４１８では、通信端末２００が、ハンドオーバータイマを起動する。Ｓ４２０では、通信端末２００が、ハンドオーバータイマを満了する。Ｓ４２２では、通信端末２００が、ハンドオーバー要求を送信する。Ｓ４２４では、通信端末２００が、ハンドオーバー応答を受信する。そして、通信端末２００は、ハンドオーバー先の表示装置との光通信フェーズに移行する。

図２５は、Ｓｅｔ Ｔｏｐ Ｂｏｘ内部ブロック図（例）を概略的に示す。Ｓｅｔ Ｔｏｐ Ｂｏｘは、送信データ取得部１１４、映像取得部１１６、領域特定部１１８、映像生成部１２０、表示制御部１２２、測定結果受信部１２４、輝度レベル調整部１２６、ＮＷ Ｉ／Ｆ１３０を有する。これらの構成は、図６において説明した機能を実行してよい。

送信データ取得部１１４は、ＣＰＲＩを介してＢＢＵ１０３と通信する。送信データ取得部１１４は、ＩＱデータを通信してよい。送信データ取得部１１４は、受信したＩＱ信号をデコードしてよい。送信データ取得部１１４は、Ｂｉｔ Ｓｔｒｅａｍを映像生成部１２０に送信する。

映像取得部１１６は、ＨＤＭＩを介して上位装置の例であるコンピュータ１０２と通信する。映像取得部１１６は、Ｈ．２６４映像データを通信してよい。映像取得部１１６は、Ｈ．２６４デコードを実行してよい。映像取得部１１６は、取得した映像データを映像生成部１２０とやりとりする。また、映像取得部１１６は、取得した映像データを領域特定部１１８に送信する。領域特定部１１８は、映像データのうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定する。

映像生成部１２０は、映像取得部１１６から受信した映像データに、各種情報を符号化した符号化映像を生成する。例えば、映像生成部１２０は、領域特定部１１８が特定した領域に、送信データ取得部１１４が取得した送信データを光通信信号として符号化した符号化映像を生成する。映像生成部１２０は、符号化映像を、ＨＤＭＩを介して、Ｈ．２６４映像データとして表示制御部１２２に送信する。表示制御部１２２は、受信した映像データを表示部に表示させる。

測定結果受信部１２４は、ネットワーク５０及びＮＷ Ｉ／Ｆ１３０を介して、通信端末２００が、表示制御部１２２によって表示された映像を撮像して測定した、受信輝度レベル及び受信ＳＮＲを受信する。測定結果受信部１２４は、制御メッセージ処理を実行してよい。輝度レベル調整部１２６は、測定結果受信部１２４が受信した測定結果に基づいて、表示制御部１２２が制御する表示部による表示の輝度レベルを調整してよい。

図２６は、Ｓｅｔ Ｔｏｐ Ｂｏｘ内部動作フローチャート（例）を概略的に示す。ＳＴＢ１０１は、ＢＢＵ１０３からＩＱデータを受信する。そして、受信したＩＱデータをデコードしてＢｉｔ Ｓｔｒｅａｍ化する。また、ＳＴＢ１０１は、ネットワーク５０から制御情報を取得する。また、ＳＴＢ１０１は、端末受信状況の情報を取得する。また、ＳＴＢ１０１は、映像データを取得する。そして、ＳＴＢ１０１は、映像データをデコードする。ＳＴＢ１０１は、映像データ中、変化の少ない部分を抽出する。

そして、ＳＴＢ１０１は、送信領域を決定する。また、ＳＴＢ１０１は、変調方式を決定する。変調方式の決定について、サイネージなどの映像の場合、ＳＴＢ１０１は、輝度変調は４段階としてよい（MCS０～４）。色情報は最大RGBの３種類としてよい。受信輝度情報から、MCSを選択してよい。データを重畳する場所の色に合わせて、RGBを選択してよい。白色照明の場合、ＳＴＢ１０１は、輝度変調は４段階としてよい（MCS０～４）。色情報は最大RGBの３種類としてよい。データを重畳できるエリア（PRB）と、バッファされているデータ量に合わせてMCS、RGBを決定してよい。そして、ＳＴＢ１０１は、変調データを作成する。ＳＴＢ１０１は、出力データを作成し、Ｈ．２６４エンコードを実行して、出力させる。

図２７は、送信解像度決定のフローチャートを概略的に示す。送信解像度決定は、ＳＴＢ１０１によって実行されてよい。Ｓ５０２では、表示装置１００の解像度情報を取得する。Ｓ５０４では、通信端末２００の受信解像度情報を取得する。Ｓ５０６では、端末受信ＳＮＲを取得する。Ｓ５０８では、最適解像度を計算する。Ｓ５１０では、受信エラーが発生しているか否かを判定する。Ｓ５１２では、解像度を低下する。

図２８は、データ重畳位置決定のフローチャートを概略的に示す。データ重畳位置決定は、ＳＴＢ１０１によって実行されてよい。ＳＴＢ１０１は、端末の視野情報を取得し、端末の映像検知情報を取得する。また、ＳＴＢ１０１は、映像情報を取得し、映像フレームの情報を格納し、格納されている映像情報と比較を行い、変化が少ない部分を抽出する。ＳＴＢ１０１は、接続している通信端末２００の死角を除外する。ＳＴＢ１０１は、接続している端末全ての死角を考慮する。そして、ＳＴＢ１０１は、ＰＦによるリソース量を計算し、割当リソースを決定する。

図２９は、データ符号化のアルゴリズムを概略的に示す。ここでは、例としてターボ符号を示すが、この限りではない。

図３０は、送信光のホワイトノイズ化に関するアルゴリズムを概略的に示す。送信光のホワイトノイズ化は、ＳＴＢ１０１によって実行されてよい。ＳＴＢ１０１は、端末識別情報をＰＮシーケンス発生機に適用してＰＮシーケンスを出力させ、これと送信データによって、ホワイトノイズ化された送信データを生成し、変調（輝度変調、ＲＧＢ変調）を行って、映像マッピングをする。

図３１：主要な実施例１（赤外線ＤＬＰを用いる例）で示すように、プロジェクタにおいて、赤外線光源を用いたＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｔｅ Ｐｒｏｓｅｃｃｉｎｇ）プロジェクタを使用し、主に夜間においてビル壁面に送信データが符号化された映像を投影することによりサプリメンタルダウンリンクを実現する。
通信端末においては赤外線領域で感度を持つ半導体カメラセンサが用いられ、モータードライブ機構によってレンズの指向性を調整することでカメラアングルを変更でき、光学ズーム機構で前記半導体カメラセンサが、ビル等に投影された送信データが符号化された映像全体を撮像できるように調節し、半導体カメラセンサの分解能を最大限に利用することでサプリメンタルダウンリンクを実現する。実装の別形態としては、特定の映像投影領域を使用するのではなく、ビル壁面に投影された映像全体を拡大してフォーカスし、投影された映像全体を分割して複数の通信端末で同時通信を実現する形態のほうが効率的である。

図３２：主要な実施例２（オフィスの天井照明）で示すように、オフィスにおける天井照明を本発明による照明パネル（液晶や有機ＥＬを用いたもの）に置き換え、ＢＢＵとＣＰＲＩ－ＨＤＭＩコンバータを介して接続し、天井照明を表示装置として使用することでサプリメンタルダウンリンクを実現する。

図３３：主要な実施例３（ドーム球場の天井）で示すように、ドーム球場にプロジェクタを数十台設置し、ドーム天井に向けて送信データが符号化された映像を投影し、球場の天井を映像表示装置とすることで、サプリメンタルダウンリンクを実現する。このとき、通信端末としてはＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）に埋め込まれていてもよい。また、マルチキャスト通信を行うことで複数のＨＭＤで同時に同一のデータを受信することができる。

図３４、図３５：主要な実施例３（ドーム球場の天井）で示す通信システムで、同一の映像を複数のプロジェクタからそれぞれ投影することによって、通信端末が撮像する映像を冗長化することができる。これらのダイバーシティ効果によって、再送頻度が低下し、安定かつ高速なな通信を実現することができる。

オリンピック等の大規模なイベント開催時には、図３６：主要な実施例３（ドーム球場のドローンカメラ）で示すように、球場内を飛ぶドローンから送られてくる映像は、光通信以外の通信（４Ｇや５ＧやＷｉＦｉ等）を用いて球場内に設置されたデータサーバーに格納され、図３３の通信システムを用いて、球場内の通信端末に対して、マルチキャスト配信を行う。

図３７：主要な実施例５（複数カメラでの受信）で示すように、通信端末が前後、上下、左右の６方向にカメラを備えているとき、通信速度が最も早くなるように映像表示装置を撮像できるカメラを選択することで、通信端末の姿勢に依存せず、常に本発明によるサプリメンタルダウンリンクを実現することができる９。

図３８：主要な実施例６（モータードライブカメラ）で示すように、通信端末が３次元アクチュエータによりレンズを調整する機構を有する場合、指向性調整部は、当該機構によってレンズの向きを調整することによって、表示装置による表示映像と、撮像部による撮像方向とが正対するようにし、また、ズームイン、ズームアウトを行うことで解像度を向上させ、通信速度を向上させる。

図３９：主要な実施例７（魚眼レンズプロジェクタ）で示すように、プロジェクタが魚眼レンズを備えている場合、大きく映像を投影することができる。このとき、通信端末が受信する画像の解像度が向上し。通信速度が向上する。

図４０は、通信端末２００として機能するコンピュータ９００のハードウエア構成のうち、本開発に関連する部分の一例を示す。本実施形態に係るコンピュータ９００は、ＣＰＵ９１０、ＢＢＩＣ、ＤＳＰ、及びカメラ９４６を備える。

コンピュータ９００にインストールされ、コンピュータ９００を通信端末２００として機能させるプログラムは、ＢＢＩＣ等に働きかけて、コンピュータ９００を、通信端末２００の各部としてそれぞれ機能させてよい。これらのプログラムに記述された情報処理は、コンピュータ９００に読込まれることにより、ソフトウエアと上述した各種のハードウエア資源とが協働した具体的手段である撮像部２１２、画像処理部２１４、情報通信部２１６、復号化部２１８、測定部２２０、測定結果送信部２２２、位置姿勢取得部２２４、及び指向性調整部２２６として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の通信端末２００が構築される。

ＣＰＵ９１０に少なくとも、ＵＳＢ３．０（１０Ｇｂｐｓ）を上回る速度のインターフェイスで接続されたＣＣＤ装置とＣＰＵ９１０に接続された５Ｇ対応ＢＢＩＣ（３Ｇ、４Ｇを含む）のデュアルコネクティビティで通信が成立し、かつ、モデム側がメインではなくＣＰＵ１０１０に接続されたＣＣＤ装置がサプリメンタルダウンリンクのデータパスを提供する。５Ｇモデムは、ＣＣＤとＣＰＵ１０１０から来たビットストリームを２８ＧＨｚや７６ＧＨｚのＡＤデータストリームと同等にデコードして、サプリメンタルダウンリンクとする。

ＳＴＢ１０１にインストールされ、表示装置１００を光通信装置として機能させるプログラムに記述された情報処理は、ＳＴＢ１０１を情報受信部１１２、送信データ取得部１１４、映像取得部１１６、領域特定部１１８、映像生成部１２０、表示制御部１２２、測定結果受信部１２４、及び輝度レベル調整部１２６として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 通信システム、５０ ネットワーク、１００ 表示装置、１０１ ＳＴＢ、１０２ コンピュータ、１０３ ＢＢＵ、１０４ ディスプレイ、１０５ プロジェクタ、１０６ 変換器、１０８ 投影映像、１１２ 情報受信部、１１４ 送信データ取得部、１１６ 映像取得部、１１８ 領域特定部、１２０ 映像生成部、１２２ 表示制御部、１２４ 測定結果受信部、１２６ 輝度レベル調整部、２００ 通信端末、２０１ ＣＭＯＳセンサ、２０２ ＣＰＵ、２０３ ディスプレイ、２０４ 通信モデム、２１２ 撮像部、２１４ 画像処理部、２１６ 情報通信部、２１８ 復号化部、２２０ 測定部、２２２ 測定結果送信部、２２４ 位置姿勢取得部、２２６ 指向性調整部、３００ 管理装置、４００ 特定領域、４０２ 分割領域、４０４ 分割領域、４１０ 同期信号、４２０ 呼出信号、４３０ アンカー信号、４３２ アンカー信号、４３４ アンカー信号、４４０ 特定領域、４４２ 分割領域、５１０ 建物、５２０ 建物、６００ 障害物、８１０ 状況、８２０ 状況、９００ コンピュータ、９１０ ＣＰＵ、９４６ カメラ

Claims (42)

1. 表示部に映像を表示させる表示制御装置と、
   前記表示部によって表示された映像を撮像する撮像部を有する通信端末とを備える通信システムであって、
   前記表示制御装置は、
   表示対象の映像を取得する映像取得部と、
   前記映像取得部が取得した前記映像のうち、変化しない領域又は変化量が予め定められた閾値より低い領域を特定する領域特定部と、
   前記領域特定部によって特定された領域に送信データを光通信信号として符号化した符号化映像を生成する映像生成部と、
   前記符号化映像を前記表示部に表示させる表示制御部とを有し、
   前記通信端末は、
   前記撮像部によって撮像された映像のうち、前記送信データが符号化された領域を識別する領域識別部と、
   前記領域識別部によって識別された前記領域から前記送信データを復号化する復号化部とを有し、光通信以外の他の通信手段（WiFi，３G，４G，５G等）の無線通信手段を用いて、前記光通信の通信制御信号をやり取りする仕組みを持った、光通信による、サプリメンタルダウンリンクを提供する通信システム。
2. 前記映像取得部は、光学的、あるいはデジタル的な手ぶれ防止機構を備える、請求項１に記載の通信システム。
3. 請求項１に示す通信システムであって、前記通信端末は、前記撮像部で撮像された映像の撮像に関する情報と、復号化した送信データの復号可否情報と、通信制御に関する情報を、光通信以外の手段を用いて、前記表示制御装置にフィードバックを行う請求項１に記載の通信システム。
4. 請求項１に示す通信システムであって、３ＧＰＰで規定するデュアルコネクティビティと同様に、２８ＧＨｚや７６ＧＨｚの広帯域通信をデュアルコネクティビティで利用する実装形態をそのままに、２８ＧＨｚや７６ＧＨｚのＭａｓｓｉｖｅＭＩＭＯのＲＲＵ装置と代わって、ディスプレイ装置をＣＰＲＩ接続に代わって、ＨＤＭＩ等の映像信号を伝送するインターフェイスで接続して、ディスプレイ装置をＲＲＵ装置として使用して、端末装置のＣＣＤ装置をＭａｓｓｉｖｅＭＩＭＯアンテナとして使用する請求項１に記載の通信システム。
5. 前記領域特定部は、前記映像取得部が取得した前記映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定する、請求項１に記載の通信システム。
6. 前記映像生成部は、前記領域特定部で特定された領域内であって、前記送信データを符号化した領域以外の領域に、前記送信データを符号化した領域を示す領域情報を光通信信号として符号化した前記符号化映像を生成し、
   前記領域識別部は、前記撮像部によって撮像された映像のうち、前記領域情報が符号化された領域を識別して、当該領域から前記領域情報を復号化し、前記領域情報が示す領域を、前記送信データが符号化された領域として識別する、請求項１又は２に記載の通信システム。
7. 前記映像生成部は、前記送信データを符号化した領域以外の領域に、前記通信端末を識別する端末識別情報を光通信信号として符号化した前記符号化映像を生成する、請求項６に記載の通信システム。
8. 前記映像生成部は、前記表示部を識別する表示部識別情報を、前記送信データを符号化した領域以外の領域に光通信信号として符号化した前記符号化映像を生成する、請求項１から７のいずれか一項に記載の通信システム。
9. 前記通信端末は、
   前記撮像部が撮像する前記映像の受信輝度レベル及び受信ＳＮＲを測定する測定部と、
   前記測定部による測定結果を前記表示制御装置に送信する測定結果送信部と
   を有し、
   前記表示制御装置は、
   前記測定結果を受信する測定結果受信部と、
   前記測定結果に基づいて、前記表示部による表示の輝度レベルを調整する輝度レベル調整部とを有する、
   請求項１から８のいずれか一項に記載の通信システム。
10. 前記映像取得部は、前記表示部によるスクリーンセーバ映像を取得し、
    前記映像生成部は、前記スクリーンセーバ映像の特定領域に送信データを符号化した符号化映像を生成し、
    前記表示制御部は、前記符号化映像をスクリーンセーバとして、前記表示部に表示させ、
    前記測定部は、前記復号化部によって復号化された送信データに基づいて、前記受信輝度レベル及び前記受信ＳＮＲを測定する、請求項９に記載の通信システム。
11. 前記映像生成部は、自らスクリーンセーバ映像を生成する機能を有し、
    当該スクリーンセーバ映像全体に送信データを符号化した符号化映像を生成し、
    前記表示制御部は、当該符号化映像をスクリーンセーバとして、前記表示部に表示させ、
    前記測定部は、前記復号化部によって復号化された送信データに基づいて、前記受信輝度レベル及び前記受信ＳＮＲを測定する、請求項９に記載の通信システム。
12. 前記測定結果送信部は、光通信を用いずに光通信以外の手段を用いて、前記測定結果を前記表示制御装置に送信する、請求項９から１１のいずれか一項に記載の通信システム。
13. 前記通信端末は、
    前記表示制御部による表示映像に対する前記通信端末の位置及び姿勢を取得する位置姿勢取得部と、
    前記位置及び姿勢に基づいて、前記撮像部による撮像の指向性を調整する指向性調整部と
    を有する、請求項１から１２のいずれか一項に記載の通信システム。
14. 前記通信端末は、複数の撮像部にて撮像した映像を比較し、通信を行う撮像部を選択する機能を有する、請求項１から１２のいずれか一項に記載の通信システム。
15. 前記通信端末の画像処理部は、前記撮像部にて撮像した表示装置の映像を画像処理し、前記表示部の前記送信データが符号化された領域の前記送信データを復号化する機能を有する、請求項１から１２のいずれか一項に記載の通信システム。
16. 前記表示制御装置は、
    前記撮像部によって撮像された映像に関する撮像映像情報を前記通信端末から受信する情報受信部を有し、
    前記映像生成部は、前記撮像映像情報に基づいて前記符号化映像を生成する、請求項１から１５のいずれか一項に記載の通信システム。
17. 前記映像生成部は、前記撮像映像情報に基づいて、前記送信データの各情報を割り当てる画素数を変更する、請求項１６に記載の通信システム。
18. 前記撮像映像情報は、前記表示部によって表示されている映像のうち、前記撮像部によって撮像できない領域を示し、
    前記映像生成部は、前記領域特定部によって特定された領域から、前記撮像部によって撮像できない領域を除外した領域に、送信データを光通信信号として符号化した符号化映像を生成する、請求項１６又は１７に記載の通信システム。
19. 前記表示部は、プロジェクタであり、
    前記撮像部は、前記プロジェクタによって投影面に投影された光を撮像する、請求項１から１８のいずれか一項に記載の通信システム。
20. 請求項１９に記載の通信システムであって、プロジェクションマッピングの要領で、ビル壁面に送信データが符号化された映像を投影し、屋内外を問わず広範囲における光通信を可能にする通信システム。
21. 請求項２０に記載の通信システムであって、赤外線等の非可視光の光源を使用したプロジェクタを使用し、通信端末においても赤外線カメラセンサ、あるいは赤外線にも感度を持つ画像センサデバイスを用いて、景観を変えることなく、光通信を実現する通信システム。
22. 請求項２１に記載の通信システムであってプロジェクタとしてＤＬＰ（ディジタル・ライト・プロセシング）プロジェクタを用い、赤外線ランプを光源に使用した通信システム。
23. 請求項２２に示される表示装置、あるいはプロジェクタと、通信端末の前記撮像部において、可視光を用いる代わりに赤外線を用い、前記撮像部がビルの窓にブルーフイルムを張ったガラスの裏側にある場合は、前記表示部において、輝度変調を用いる請求項２２に記載の通信システム。
24. 前記映像生成部は、映像の内容が変化しない領域または変化量が予め定められた閾値より低い領域に送信データを光通信信号として符号化した符号化映像を生成する、請求項１９に記載の通信システム。
25. 前記通信端末は、
    前記撮像部によって前記映像を撮像できない場合に、通知データを前記表示制御装置に送信する通知データ送信部
    を有し、
    前記映像生成部は、前記通知データを受信した場合、前記映像全体の輝度変調によって前記送信データを光通信信号として符号化した符号化映像を生成する、請求項１から２４のいずれか一項に記載の通信システム。
26. 前記表示制御装置は、
    前記送信データを無線基地局から受信するＣＰＲＩインタフェースと、
    前記表示部と通信接続するＨＤＭＩインタフェースと、
    前記ＣＰＲＩインタフェース上のＩＱベクトル信号からＲＧＢＩ信号に変換する装置と、
    ＲＧＢＩ信号からＩＱベクトル信号に変換する装置と
    を有する、請求項１から２５のいずれか一項に記載の通信システム。
27. 請求項１から２６のいずれか一項に記載の通信システムであって、通信中に参照信号として、表示装置、並びに通信端末が互いに既知のパターンの信号、あるいは表示装置に二次元バーコードとして表示される較正パターンを用いて、定期的に較正を行うことにより、前記撮像部で撮像された画像を、既知画像に近づけるための写像変換を行う通信システム。
28. ここで用いられる較正パターンは互いに既知のランダムな較正パターン、あるいは互いに既知の広告画像、二次元バーコード、あるいは、二重枠で囲われたロゴマークのいずれかであってもよい、請求項２７に記載の通信システム。
29. この通信システムで参照信号として用いられる二次元バーコードは、正方形のものだけではなく、長四角であってよく、前記領域特定部で特定された領域を示すための物であって良い、請求項２７または２８に記載の通信システム。
30. 表示対象の映像を取得する映像取得部と、
    前記映像取得部が取得した前記映像のうち、変化しない領域又は変化量が予め定められた閾値より低い領域を特定する領域特定部と、
    前記領域特定部によって特定された領域に送信データを光通信信号として符号化した符号化映像を生成する映像生成部と、
    前記符号化映像を表示部に表示させる表示制御部と
    を備える表示制御装置。
31. 請求項１から２９のいずれか一項に記載のサプリメンタルダウンリンクを提供する通信システムであって、そこで使用する表示装置、あるいはプロジェクタにおいて、その地域で提供される電圧の周波数(５０、ないし６０Ｈｚ等)に同期して、１００ないし１２０Ｈｚで周囲の照明が点滅するが（インバーター方式ではない場合）、消灯している瞬間（ＳＮＲが改善しているタイミング）に、表示装置においては映像を表示し、また、プロジェクタでは光源を点灯させ、通信端末の撮像装置においては、前記電圧の周波数に同期し、周囲の照明が消灯している瞬間（ＳＮＲが改善しているタイミング）に撮像することにより、周囲照明を干渉源とするＳＮＲの改善を図り通信速度を確保する表示装置、撮像装置、および通信システム。
32. 請求項１から２９、３１のいずれか一項に記載のサプリメンタルダウンリンクを提供する通信システムであって、酸素により太陽光がエネルギーを吸収されている、フラウンホーファー線の波長を使用する単一色の可視光下限の光源を使用するサプリメンタルダウンリンクを提供する通信システム。
33. フラウンホーファー線の狭帯域透過光学フィルターを受光素子に装着して日中の太陽光による干渉を低減し、通信端末の受光素子はサプリメンタルダウンリンク提供専用の撮像素子となる、請求項３２に記載の通信システム。
34. 請求項１から２９、３１のいずれか一項に記載の通信システムであって、冗長的に赤外線レーザーの散乱を利用するＰｏｉｎｔＴｏＭｕｌｔｉＰｏｉｎｔ方式の通信を用いることにより、安定した通信を提供する通信システム。
35. 請求項１から２９、３１にいずれか一項に記載の通信システムであって、映像表示装置としてＬＥＤディスプレイを用いる通信システム。
36. 通信端末毎に異なる端末識別情報を生成し、当該端末識別情報を通信端末に送信する機能を有する表示制御装置。
37. 端末識別信号を元に、撮像部にて撮像された画像に映り込んだ通信の相手方となる表示制御装置以外の表示制御装置の信号を、逐次干渉除去技術を用いて干渉除去する機能を有する通信端末。
38. 干渉除去を目的とするスクランブル符号生成部と、上記スクランブル符号生成部で生成されたスクランブル符号を用いて送信データのスクランブルを実施するスクランブル部を有し、スクランブル符号情報を端末識別信号として通信端末に送信する機能を有する表示制御装置。
39. 干渉除去を目的とする、通信端末毎に個別のスペクトル拡散符号を生成する機能を有し、上記スペクトル拡散符号を用いて表示映像をスペクトル拡散する機能を有する請求項３６に記載の表示制御装置。
40. コンピュータを、請求項３６に記載の表示制御装置として機能させるためのプログラム。
41. 表示装置によって表示される映像のうち、送信データが光通信信号として符号化されている領域を示す領域情報を取得する領域情報取得部と、
    撮像部によって撮像された映像のうち、前記領域情報に基づいて、前記送信データが符号化された領域を識別する領域識別部と、
    前記領域識別部によって識別された前記領域から前記送信データを復号化する復号化部と、
    光通信以外の他の通信手段（WiFi，３G，４G，５G等）の無線通信手段を用いて、前記光通信の通信制御信号をやり取りする仕組み
    を備える通信端末。
42. コンピュータを、請求項４１に記載の通信端末として機能させるためのプログラム。

Images