JP2013042221A - 通信端末、通信方法、マーカ装置及び通信システム - Google Patents

Abstract

【課題】マーカ型の表示形態において、マーカを基に表示対象のデータを取得して、表示対象のデータを高速且つ簡易に表示画面に表示する。
【解決手段】通信端末は、光源としてのマーカ装置と光通信し、情報若しくはデータを表示する表示部と、マーカ装置から発光された光信号を受光する受光部と、受光部により受光された光信号を、マーカ装置に対応するデータが変調された変調信号に変換する受光制御部と、通信端末の周囲の映像を取得する撮像部と、撮像部により取得された映像を表示部に表示させる表示制御部と、受光制御部により変換された変調信号を復調してマーカ装置に対応するデータを取得する制御部と、を備える。制御部は、表示部に表示された映像の表示画面の所定位置に、マーカ装置に対応するデータを表示するように表示制御部に指示する。
【選択図】図１

Description

本発明は、光通信を用いてデータを通信する通信端末、通信方法、マーカ装置及び通信システムに関する。

従来の光通信の一例として、可視光通信は、送信側において、通信対象の情報若しくはデータに応じて電気信号を変調し、例えばＬＥＤ（Light Emitting Diode）などの発光体から変調信号の符号ビット（「１」又は「０」）を可視光線に重畳して送信（発光）する。また、可視光通信は、受信側において、送信（発光）された可視光信号を受光（受信）し、受光された可視光信号を電気信号に変換して更に復調して元の情報若しくはデータを取得する。この様な可視光通信は、可視光通信コンソーシアム（ＶＬＣＣ：Visible Light Communication Consortium）などの団体により、通信方式などの標準化が進められている。

可視光線を用いた通信の一例として、例えば、特許文献１には、映画撮影所において現実の人物又は物体の動きをデジタル的に記録する、所謂モーションキャプチャのために、可視光線を用いてデータを送信し、光学タグにおいて受光された可視光線からデータを投影する方法が開示されている。

また、近年、現実環境にコンピュータを用いて情報を付加的に表示し、又は情報が付加的に表示された環境そのものを示すＡＲ（Augmented Reality：拡張現実）技術が普及し始めている。ＡＲ技術においては、現実環境における特定の物体に関する説明又は関連情報を含む電子情報（アノテーションという）が、説明対象となる実物体（物理オブジェクト）に対応付けて提示される。ＡＲ技術の情報を付加的に表示する形態としては、マーカ型の表示形態と、マーカーレス型の表示形態とに大別される。

マーカ型は、マーカと呼ばれる図形などをユーザ端末において画像認識し、その図形に対応した情報（例：画像データ、テキストデータ）を、ユーザ端末のカメラ部において映し出された映像に、マーカの位置を基にオーバーレイして表示する方法である。

一方、マーカーレス型は、マーカを使わずに、情報若しくはデータ、更にユーザ端末の表示画面における情報若しくはデータの表示位置を、ネットワークを介して別途取得し、当該ユーザ端末の表示画面の表示位置に表示する方法である。マーカーレス型として、例えば頓智ドット株式会社のセカイカメラ（登録商標）というアプリケーションが知られている。このアプリケーションにおいては、カメラにおいて映し出された映像に、関連する付加情報（文字、画像、音声）がオーバーレイして表示される。より具体的には、このアプリケーションにおいては、ＧＰＳ（Global Positioning System）及び電子コンパスを用いて位置及び方向を特定し、関連する付加情報を表示する場所が特定される。なお、この付加情報は、インターネットを介して、このアプリケーションを利用可能なユーザ間において共有可能とされる。

特開２００７−３１０３８２号公報

しかしながら、上述したマーカ型の表示形態においては、マーカの形状を基に表示対象のデータを特定するため、表示対象のデータのデータ量を多くするために複雑な形状のマーカを用いると、結果的に、ユーザ端末においてマーカの形状を認識するための画像認識処理量が増大し、時間がかかることになる。反対に、マーカの形状の認識を高速化するためにマーカの形状を単純化すると、ユーザ端末において表示されるデータのデータ量が減少することになる。

また、上述した特許文献１にはＡＲ技術におけるマーカ型の表示形態については想定及び記載されていないため、マーカ型の表示形態において、マーカを基に表示対象のデータを取得して、表示対象のデータを高速且つ簡易に表示画面に表示することは困難であると考えられる。

そこで、本発明は、上述した従来の事情に鑑みてなされたものであり、マーカ型の表示形態において、マーカを基に表示対象のデータを取得して、表示対象のデータを高速且つ簡易に表示画面に表示する通信端末、通信方法、マーカ装置及び通信システムを提供することを目的とする。

本発明は、上述した通信端末であって、光源としてのマーカ装置と光通信する通信端末であって、情報若しくはデータを表示する表示部と、前記マーカ装置から発光された光信号を受光する受光部と、前記受光部により受光された前記光信号を、前記マーカ装置に対応するデータが変調された変調信号に変換する受光制御部と、前記通信端末の周囲の映像を取得する撮像部と、前記撮像部により取得された前記映像を前記表示部に表示させる表示制御部と、前記受光制御部により変換された前記変調信号を復調して前記マーカ装置に対応するデータを取得する制御部と、を備え、前記制御部は、前記表示制御部により前記表示部に表示された前記映像の表示画面の所定位置に、前記マーカ装置に対応するデータを表示するように前記表示制御部に指示する。

本発明は、上述した通信方法であって、光源としてのマーカ装置と光通信する通信端末における通信方法であって、前記マーカ装置から発光された光信号を受光するステップと、前記受光された前記光信号を、前記マーカ装置に対応するデータが変調された変調信号に変換するステップと、前記通信端末の周囲の映像を取得するステップと、前記取得された前記映像を表示部に表示させるステップと、前記変換された前記変調信号を復調して前記マーカ装置に対応するデータを取得するステップと、前記表示部に表示された前記映像の表示画面の所定位置に、前記取得された前記マーカ装置に対応するデータを表示するように指示するステップと、を備える。

本発明は、上述したマーカ装置であって、通信端末と光通信する光源としてのマーカ装置であって、前記マーカ装置に対応するデータを保存するメモリ部と、前記メモリ部に保存されている前記マーカ装置に対応するデータを変調する制御部と、前記制御部により変調された前記マーカ装置に対応するデータを前記光通信における光信号に変換する発光制御部と、前記発光制御部により変換された光信号を用いて発光する発光部と、を備える。

本発明は、上述した通信システムであって、光源としてのマーカ装置と前記マーカ装置と光通信する通信端末とを含む通信システムであって、前記マーカ装置は、前記マーカ装置に対応するデータを保存するメモリ部と、前記メモリ部に保存されている前記マーカ装置に対応するデータを変調する制御部と、前記制御部により変調された前記マーカ装置に対応するデータを前記光通信における光信号に変換する発光制御部と、前記発光制御部により変換された光信号を用いて発光する発光部と、を備え、前記通信端末は、情報若しくはデータを表示する表示部と、前記マーカ装置から発光された光信号を受光する受光部と、前記受光部により受光された前記光信号を、前記マーカ装置に対応するデータが変調された変調信号に変換する受光制御部と、前記通信端末の周囲の映像を取得する撮像部と、前記撮像部により取得された前記映像を前記表示部に表示させる表示制御部と、前記受光制御部により変換された前記変調信号を復調して前記マーカ装置に対応するデータを取得する制御部と、を備え、前記制御部は、前記表示制御部により前記表示部に表示された前記映像の表示画面の所定位置に、前記マーカ装置に対応するデータを表示するように前記表示制御部に指示する。

上述した構成によれば、マーカ型の表示形態において、マーカを基に表示対象のデータを取得して、表示対象のデータを高速且つ簡易に表示画面に表示することができる。

本発明によれば、マーカ型の表示形態において、マーカを基に表示対象のデータを取得して、表示対象のデータを高速且つ簡易に表示画面に表示することができる。

本実施形態の通信システムを構成するＡＲマーカ及び携帯端末の各ハードウェア構成を示すブロック図 （ａ）携帯端末からのＡＲマーカへの方向を説明する説明図、（ｂ）ＡＲマーカに対応する画像データの表示画面における表示の様子を説明する説明図 （ａ）携帯端末からの複数のＡＲマーカへの各方向を説明する説明図、（ｂ）複数のＡＲマーカに対応する各画像データの表示画面における表示の様子を説明する説明図 本実施形態のＡＲマーカの動作を説明するフローチャート ＡＲマーカから発光された可視光信号を受光する前の携帯端末の表示画面の表示例を示す説明図 ＡＲマーカから発光された可視光信号を受光した後の携帯端末の表示画面の表示例を示す説明図 本実施形態の携帯端末の動作を説明するフローチャート ＡＲマーカに対応する画像データを更新する場合におけるＡＲマーカ及び携帯端末の各動作を説明するシーケンス図 （ａ）冷蔵庫の冷蔵室、野菜室及び冷凍室の前にそれぞれ配置された３つのＡＲマーカに対応する各画像データを画面に表示している様子を示す図、（ｂ）冷蔵庫の冷蔵室、野菜室及び冷凍室にそれぞれ光源としての３つのＡＲマーカが配置された様子を示す図

以下、本発明に係る通信端末、通信方法、マーカ装置及び通信システムの実施形態について、図面を参照して説明する。本発明に係る通信端末は、例えば携帯電話機、スマートフォン、デジタルスチルカメラ又はＰＤＡ（Personal Digital Assistant）などの携帯端末に適用可能であるが、これらの携帯端末に限定されない。以下、本発明に係る通信端末を、上述した携帯端末として説明する。

なお、本発明は、通信端末の様な装置、又は通信端末をコンピュータとして動作させるためのプログラムとして表現することも可能である。更に、本発明は、通信端末により実行される処理（ステップ）を含む通信方法として表現することも可能である。即ち、本発明は、装置、方法、プログラム及び当該装置を含むシステムのうちいずれのカテゴリでも表現可能である。

（通信システム１の構成）
図１は、本実施形態の通信システム１を構成するＡＲマーカ１０及び携帯端末２０の各ハードウェア構成を示すブロック図である。通信システム１は、図１に示す様に、マーカ装置としてのＡＲマーカ１０、及び携帯端末２０を含む構成である。通信システム１においては、ＡＲマーカ１０と携帯端末２０との間で光通信が行われる。以下の実施形態において、光通信として直進性及び独立性の観点で可視光通信を例示して説明するが、他には赤外線通信を用いても良い。

先ず、ＡＲマーカ１０の構成について説明する。

ＡＲマーカ１０は、図１に示す様に、電源ＰＷ１０、制御部１１、メモリ部１２、可視光データ発光制御部１３、発光部１４、及びアンテナ１５が接続されているデータ受信部１６を含む構成である。ＡＲマーカ１０は、通信システム１における可視光通信の光源として機能する。ＡＲマーカ１０の各部は、電源ＰＷ１０により動作に必要な駆動電力が供給されている。

制御部１１は、ＡＲマーカ１０に内蔵されるＣＰＵ（Central Processing Unit）等のプロセッサを用いて構成され、ＡＲマーカ１０の各部の動作を制御する。制御部１１の動作の詳細は、図４又は図８を参照して後述する。

メモリ部１２は、ＡＲマーカ１０に内蔵されるフラッシュメモリ若しくはハードディスクを用いて構成され、ＡＲマーカ１０に対応するデータとして、例えばテレビジョン装置などの画像データ、又はチラシ等の広告内容、植木鉢に植えられている花の情報若しくは冷蔵庫に貯蔵されているもの（図９参照）の各内容を示す画像データを記憶している。

発光制御部としての可視光データ発光制御部１３は、発光部１４の発光を制御可能な制御回路を用いて構成される。可視光データ発光制御部１３は、制御部１１から出力された変調後の画像データ（以下、「変調データ」という）の各情報ビットを基に、各情報ビットに対応する電気信号（電圧信号）を可視光信号ＶＳに光電変換して発光部１４を発光させる。

発光部１４は、可視光信号ＶＳを出力（発光）可能な発光素子（例：発光ダイオード、ＬＥＤ）を用いて構成され、可視光データ発光制御部１３の制御の下で、可視光信号ＶＳを送信（発光）する。

データ受信部１６は、情報若しくはデータを送受信可能な無線通信回路を用いて構成され、アンテナ１５を介して、携帯端末２０から送信された情報若しくはデータが無線通信用に変調された無線信号ＷＳを受信する。

次に、携帯端末２０の構成について説明する。

携帯端末２０は、図１に示す様に、電源ＰＷ２０、制御部２１、操作部２２、可視光データ受光制御部２３、受光部２４、撮像部２５、映像処理部２６、表示制御部２７、表示部２８、アンテナ２９が接続されているデータ送信部３０、ＲＡＭ（Random Access Memory）３１及びＲＯＭ（Read Only Memory）３２を含む構成である。携帯端末２０の各部は、電源ＰＷ２０により動作に必要な駆動電力が供給されている。

制御部２１は、携帯端末２０に内蔵されるＣＰＵを用いて構成され、携帯端末２０の各部の動作を制御する。制御部２１の動作の詳細は図７又は図８を参照して後述する。

操作部２２は、携帯端末２０のユーザからの携帯端末２０に対する入力操作を受け付けるユーザインタフェースであり、ユーザの操作内容に応じた操作信号を制御部２１に出力する。例えば、操作部２２は、ユーザの操作内容、例えばＡＲマーカ１０に対応する画像データを更新するための更新指示の操作に応じた操作信号を制御部２１に出力する。

また、操作部２２は、電話番号等を入力するテンキー、オンフック又はオフフックを行う通話器キー及びファンクションキー等の各種キーで構成可能である。更に、操作部２２は、表示部２８の上に配置され、ユーザの指又はスタイラスペンなどによる入力操作を受け付け可能なタッチパネルを用いて構成されても良い。

受光制御部としての可視光データ受光制御部２３は、受光部２４の受光を制御可能な制御回路を用いて構成される。可視光データ受光制御部２３は、可視光信号ＶＳの受光部２４における受光量に応じた電流量を基に、可視光信号ＶＳを変調データの電気信号（電圧信号）に光電変換する。

受光部２４は、可視光信号ＶＳの受光量に応じた電流量を出力可能な受光素子（例：フォトダイオード、ＰＤ）を用いて構成され、可視光データ受光制御部２３の制御の下で、可視光信号ＶＳの受光量に応じた電流量を可視光データ受光制御部２４に出力する。

撮像部２５は、ユーザにより把持される携帯端末１０の所定方向における周囲の映像の画像データを撮像可能なＣＣＤ（Charged Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いて構成され、ユーザの撮像指示に応じて操作部２２により出力された操作信号を基に、被写体又は景色の映像データを撮像する。なお、図１においては、操作部２２から撮像部２５への矢印は省略している。

映像処理部２６は、携帯端末２０に内蔵されるＣＰＵ等のプロセッサを用いて構成され、撮像部２５により撮像された被写体又は景色の映像データ（画像データ）を、ユーザの画像処理指示に応じて操作部２２により出力された操作信号を基にして画像処理する。なお、図１においては、操作部２２から映像処理部２６への矢印は省略している。

なお、図１の携帯端末２０においては、撮像部２５と映像処理部２６とは、別々の構成としているが、撮像部２５と映像処理部２６とが一体として構成されても良い。この場合には、映像処理部２６の構成は図１から省略される。

表示制御部２７は、携帯端末２０に内蔵されるＣＰＵを用いて構成され、制御部２１から出力された表示指示及び情報若しくはデータを取得し、表示指示に基づいて情報若しくはデータを表示部２８に表示する。

表示部２８は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro Luminescence）ディスプレイを用いて構成され、表示制御部２７の制御の下で、ユーザ操作に応じて操作部２２から出力された操作信号に応じて、情報若しくはデータを表示する。

データ送信部３０は、情報若しくはデータを送受信可能な無線通信回路を用いて構成され、アンテナ２９を介して、ユーザ操作によって操作部２２から出力されたデータ（例：画像データ）をＡＲマーカ１０に送信する。なお、データ送信部３０から送信されるデータは、後述する様に、メモリ部１２に記憶されているＡＲマーカ１０に対応する画像データを更新するために、携帯端末２０のユーザにより選択された画像データである。例えば、データ送信部３０から送信されるデータは、チラシ等の広告内容、植木鉢に植えられている花の情報若しくは冷蔵庫に貯蔵されているもの（図９参照）の各内容を示す画像、映像又はテキスト等のデータである。

ＲＡＭ３１は、制御部２１、操作部２２、映像処理部２６、表示制御部２７又はデータ送信部３０の各動作におけるワークメモリとして動作する。なお、図１においては、制御部２１、操作部２２、映像処理部２６、表示制御部２７又はデータ送信部３０からＲＡＭ３１への矢印の図示を省略している。

ＲＯＭ３２は、携帯端末２０における制御部２１、映像処理部２６及び表示制御部２７の各動作が予め規定されたプログラムを記憶している。なお、制御部２１は、ハードウェア又はソフトウェアで構成することが可能である。特に、制御部２１がソフトウェアにより構成される際には、携帯端末２０に内蔵されているＣＰＵが制御部２１の各動作が予め規定されたプログラムをＲＯＭ３２から読み出すことにより、制御部２１が動作可能となる。なお、図１においては、ＲＯＭ３２への矢印の図示を省略している。

（ＡＲマーカ１０に対応する画像データの表示位置の説明）
次に、本実施形態の携帯端末２０において、ＡＲマーカ１０に対応する画像データ１０−Ｃの表示位置を、図２及び図３を参照して説明する。図２（ａ）は、携帯端末２０からのＡＲマーカ１０への方向を説明する説明図である。図２（ｂ）は、ＡＲマーカ１０に対応する画像データ１０−Ｃの表示画面における表示の様子を説明する説明図である。図３（ａ）は、携帯端末２０からの複数のＡＲマーカ１０ａ，１０ｂへの各方向を説明する説明図である。図３（ｂ）は、複数のＡＲマーカ１０ａ，１０ｂに対応する各画像データ１０−Ｃａ，１０−Ｃｂの表示画面における表示の様子を説明する説明図である。なお、図２及び図３において、携帯端末２０は例えば折り畳み形式であるとして説明するが、特に折り畳み形式の携帯端末２０に限定されず、携帯端末２０の代わりにスマートフォンにおいても同様に説明可能である。

図２（ａ）に示す様に、受光部２４は、例えば携帯端末２０の折り畳みのためのヒンジの略中央部（原点Ｏ）に設けられているとする。図２（ａ）の原点Ｏを中心としたｘ−ｙ−ｚ軸のうちのｘ−ｙ平面において、原点Ｏから所定角θの方向から、所定の閾値ＴＨ１（図７のステップＳ２２参照）を超える受光量の可視光信号ＶＳが受光部２４において受光されたとする。なお、ＡＲマーカ１０は、原点ＯからベクトルＯＰ１の大きさに応じた距離ほど離れた点Ｐ１に位置しているとする。

この所定角θ（受光方向）は、例えば次の様にして求められる。具体的には、携帯端末２０において受光部２４の近傍又は受光部２４に隣接する位置に輝度センサ（不図示）が設けられている場合に、輝度センサが受光部２４の位置（原点Ｏ、図２（ａ）参照）を起点に、所定の閾値以上の輝度レベルを有する可視光信号ＶＳの到来方向として求めた角度である。なお、図３（ａ）の所定角θ１及びθ２の求め方についても同様である。

また、携帯端末２０が輝度センサを有さない場合には、映像処理部２６が、撮像部２５において撮像された画像データに輝点を検出した場合に、原点Ｏと検出された輝点とを結ぶベクトルのｘ軸に対する角度を所定角θと判定しても良い。この場合、映像処理部２６の動作において、撮像部２５により撮像された画像上において輝点を検出するためのアルゴリズムが予め規定されていることが好ましい。

この場合、図２（ｂ）に示す様に、携帯端末２０は、表示部２８の点Ｏｆを図２（ａ）の原点Ｏに対応する表示画面の原点とした場合に、原点Ｏｆから求められた所定角θの方向に、ＡＲマーカ１０に対応する画像データ１０−Ｃを表示する。なお、ＡＲマーカ１０に対応する画像データ１０−Ｃの表示画面における表示位置である点Ｐ１ｆと原点Ｏｆとの距離は、図２（ａ）の原点ＯからベクトルＯＰ１の大きさに応じた距離に所定の割合（例：０．５など）を乗じたものとしても良い。

同様に、図３（ａ）に示す様に、受光部２４は、例えば携帯端末２０の折り畳みのためのヒンジの略中央部（原点Ｏ）に設けられているとする。図３（ａ）の原点Ｏを中心としたｘ−ｙ−ｚ軸のうちのｘ−ｙ軸平面において、原点Ｏから所定角θ１の方向から、所定の閾値ＴＨ１（図７のステップＳ２２参照）を超える受光量の可視光信号ＶＳが受光部２４において受光されたとする。更に、原点Ｏから所定角θ２の方向から、所定の閾値ＴＨ１（図７のステップＳ２２参照）を超える受光量の可視光信号ＶＳが受光部２４において受光されたとする。なお、ＡＲマーカ１０ａは原点ＯからベクトルＯＰ１の大きさに応じた距離ほど離れた点Ｐ１に位置し、ＡＲマーカ１０ｂは原点ＯからベクトルＯＰ２の大きさに応じた距離ほど離れた点Ｐ２に位置しているとする。

この場合、図３（ｂ）に示す様に、携帯端末２０は、表示部２８の点Ｏｆを図３（ａ）の原点Ｏに対応する表示画面の原点とした場合に、原点Ｏｆから同じ所定角θ１の方向に、ＡＲマーカ１０ａに対応する画像データ１０−Ｃａを表示する。更に、携帯端末２０は、原点Ｏｆから同じ所定角θ２の方向に、ＡＲマーカ１０ｂに対応する画像データ１０−Ｃｂを表示する。なお、ＡＲマーカ１０ａに対応する画像データ１０−Ｃａの表示画面における表示位置である点Ｐ１ｆと原点Ｏｆとの距離は、図３（ａ）の原点ＯからベクトルＯＰ１の大きさに応じた距離に所定の割合（例：０．５など）を乗じたものとしても良い。同様に、ＡＲマーカ１０ｂに対応する画像データ１０−Ｃｂの表示画面における表示位置である点Ｐ２ｆと原点Ｏｆとの距離は、図３（ａ）の原点ＯからベクトルＯＰ２の大きさに応じた距離に所定の割合（例：０．５など）を乗じたものとしても良い。

以上により、複数のＡＲマーカ１０ａ，１０ｂからそれぞれ可視光信号ＶＳ１，ＶＳ２が発光されている場合においても、各ＡＲマーカ１０ａ，１０ｂからの可視光信号ＶＳ１，ＶＳ２が空間的に直進性及び独立性が非常に高い。これにより、携帯端末２０は、各可視光信号ＶＳ１，ＶＳ２の相互の干渉を回避することができ、確実に各可視光信号を分離して受光することができる。

また、ＡＲマーカ１０に対応する画像データの表示位置は、上述した角度θ（図２参照）、角度θ１及びθ２（図３参照）の演算を行わなくても、次の様に特定しても良い。具体的には、携帯端末２０は、受光部２４における可視光信号ＶＳの受光時の画角（角度）と撮像部２５における撮影時の画角（角度）とが同じである、即ち撮像部２５においてＡＲマーカ１０からの可視光信号ＶＳを撮像している場合には、撮像部２５により撮像された画像のうちの可視光信号ＶＳを受光した位置を、ＡＲマーカ１０に対応する画像データの表示位置として良い。

特に、撮像部２５における撮像範囲を所定の範囲（例えば撮像部２５を起点に±１０°の中心方向だけ）に限定することにより、携帯端末２０は、撮像部２５における撮像範囲においてＡＲマーカ１０からの可視光信号ＶＳを受光した場合には、ＡＲマーカ１０に対応する画像データを簡易且つ高速に表示可能である。なお、上述した撮像範囲を、撮像部２５を起点に±１０°としたのはあくまでも一例であって、携帯端末２０において予め設定され若しくは携帯端末２０のユーザにおいて任意に設定されても良い。

（ＡＲマーカ１０の動作）
次に、本実施形態のＡＲマーカ１０の動作について、図４を参照して説明する。図４は、本実施形態のＡＲマーカ１０の動作を説明するフローチャートである。上述した様に、ＡＲマーカ１０のメモリ部１２には、ＡＲマーカ１０に対応するデータとして例えばテレビジョン装置などの画像データが記憶されているとする。

図４において、制御部１１は、メモリ部１２から画像データを読み出す（Ｓ１１）。制御部１１は、ステップＳ１１において読み出された画像データを所定の変調方式に従って変調し、変調データを生成する（Ｓ１２）。制御部１１は、生成された変調データを可視光データ発光制御部１３に出力する。

可視光データ発光制御部１３は、制御部１１から出力された変調データを取得し、この変調データの各情報ビット（ビット「１」，ビット「０」）を基に、各情報ビットに対応する電気信号（電圧信号）を可視光信号ＶＳに光電変換する（Ｓ１３）。

発光部１４は、ステップＳ１３の光電変換によって生成された可視光信号ＶＳを送信（発光）する（Ｓ１４）。以上により、ＡＲマーカ１０の動作は終了する。上述したステップＳ１１〜ステップＳ１４がＡＲマーカ１０において常時繰り返される。但し、ＡＲマーカ１０が図４の各処理（ステップ）を繰り返すのは常時ではなく、例えば所定の周期（例：１秒）毎にしても良い。この場合には、ＡＲマーカ１０には上述した所定の周期をカウントするためにタイマが内蔵されることが好ましい。

（携帯端末２０の動作）
次に、本実施形態の携帯端末２０の動作について、図５〜図７を参照して説明する。図５は、ＡＲマーカ１０から発光された可視光信号ＶＳを受光する前の携帯端末２０の表示画面の表示例を示す説明図である。図６は、ＡＲマーカ１０から発光された可視光信号ＶＳを受光した後の携帯端末２０の表示画面の表示例を示す説明図である。図７は、本実施形態の携帯端末２０の動作を説明するフローチャートである。

図７において、撮像部２５は、携帯端末２０のユーザの撮像指示に応じて操作部２２により出力された操作信号を基に、携帯端末２０の周囲の被写体又は景色の映像データ（画像データ）を撮像する（Ｓ２１）。図７の説明においては、撮像対象は部屋の様子の一部を模った縮小されたモデルルームのテレビ台であり、携帯端末２０の撮像部２５は光源としてのＡＲマーカ１０の方向に向けられているとする（図５及び図６参照）。

制御部２１は、撮像部２５により撮像された又は映像処理部２６により更に画像処理された映像データを表示部２８に表示する様に表示制御部２７に指示する。表示制御部２７は、制御部２１からの表示指示を基に、撮像部２５により撮像された又は映像処理部２６により更に画像処理された映像データを表示部２８に表示する（Ｓ２１）。

可視光データ受光制御部２３は、受光部２４における可視光信号ＶＳの受光量が所定の閾値ＴＨ１以上の受光量であるか否かを判定する（Ｓ２２）。この閾値ＴＨ１は、ＡＲマーカ１０からの可視光信号ＶＳが携帯端末２０において受光されたか否かを判別する値である。可視光データ受光制御部２３は、受光部２４における可視光信号ＶＳの受光量が所定の閾値ＴＨ１以上の受光量であると判定した場合に（Ｓ２２、ＹＥＳ）、受光部２４における可視光信号ＶＳの受光量が所定の閾値ＴＨ１以上の受光量である旨を制御部２１に出力する。

制御部２１は、受光部２４における可視光信号ＶＳの受光方向を判定する（Ｓ２３）。この受光方向の算出は、上述した様に、携帯端末２０において受光部２４の近傍又は受光部２４に隣接する位置に輝度センサ（不図示）が設けられている場合に、輝度センサが受光部２４の位置（原点Ｏ、図２（ａ）参照）を起点に、所定の閾値ＴＨ２以上の輝度レベルを有する可視光信号ＶＳの到来方向として求めた角度となる。この閾値ＴＨ２は、ＡＲマーカ１０からの可視光信号ＶＳの受光方向を求めるか否かを判別するものとする。なお、輝度センサにより求められた受光方向は、制御部２１に出力される。

なお、携帯端末２０において受光部２４の近傍又は受光部２４に隣接する位置に輝度センサ（不図示）が設けられていない場合には、映像処理部２６が、撮像部２５において撮像された画像データに輝点を検出した場合に、撮像部２５により撮像された画像のうちの可視光信号ＶＳを受光した方向を図７のステップＳ２３における受光方向とし、また撮像部２５又は受光部２４において可視光信号ＶＳを受光した位置を、ＡＲマーカ１０に対応する画像データの表示位置として良い。

可視光データ受光制御部２３は、可視光信号ＶＳの受光部２４における受光量に応じた電流量を基に、可視光信号ＶＳを変調データの電気信号（電圧信号）に光電変換する（Ｓ２４）。可視光データ受光制御部２３は、光電変換によって生成された変調データの電気信号を制御部２１に出力する。

制御部２１は、可視光データ受光制御部２３から出力された変調データの電気信号を基に、所定の復調方式に従って変調データを復調して、ＡＲマーカ１０に対応する画像データ１０−Ｃを取得する（Ｓ２５）。なお、ＡＲマーカ１０と携帯端末２０との間において行われる変調方式及び復調方式は、ＡＲマーカ１０と携帯端末２０との間で既知であるとする。

制御部２１は、ステップＳ２５において取得されたＡＲマーカ１０に対応する画像データ１０−Ｃを、表示部２８の点Ｏｆを表示画面の原点とした場合に（図２（ｂ）参照）、原点Ｏｆから求められた所定角θの方向に、原点Ｏｆから所定の距離離れた位置に表示する様に表示制御部２７に指示する。表示制御部２７は、制御部２１からの表示指示を基に、ＡＲマーカ１０に対応する画像データ１０−Ｃを、表示部２８の表示画面の原点Ｏｆから所定角θの方向であって、原点Ｏｆから所定の距離ほど離れた位置に表示する（Ｓ２６）。

図５のＡＲマーカ１０に対応する画像データ１０−Ｃがテレビジョン装置である場合、携帯端末２０の受光部２４を光源としてのＡＲマーカ１０に向けた場合に、携帯端末２０は、図６に示す様に、ＡＲマーカ１０に対応する画像データ１０−Ｃを、表示部２８の表示画面に表示する。なお、携帯端末２０においては光源としてのＡＲマーカ１０からの可視光信号ＶＳの受光方向が求められるため、ＡＲマーカ１０に対応する画像データ１０−Ｃ（テレビジョン装置の画像データ）は、図６のテレビ台の上に位置する様に表示される。

また、上述した様に、ＡＲマーカ１０に対応する画像データ１０−Ｃの表示画面における表示位置である点Ｐ１ｆと原点Ｏｆとの距離は、図２（ａ）の原点ＯからベクトルＯＰ１の大きさに応じた距離に所定の割合を乗じたものとしても良い。以上により、携帯端末２０の動作は終了する。

以上により、本実施形態の通信システムによれば、マーカ型の表示形態において、ＡＲマーカ１０からの可視光信号ＶＳを受光した場合に、可視光信号ＶＳを復調して得られた表示対象の画像データを取得して、表示対象のデータを、撮像部２５により撮像された映像データの該当位置及び方向に高速且つ簡易に表示することができる。

また、上述した実施形態では、ＡＲマーカ１０に対応する画像データ１０−Ｃは、予めＡＲマーカ１０のメモリ部１２に固定的に記憶されていたが、携帯端末２０から新たな例えば画像データを送信することによって更新されても良い。この内容について図８及び図９を参照して説明する。図８は、ＡＲマーカ１０に対応する画像データ１０−Ｃを更新する場合におけるＡＲマーカ１０及び携帯端末２０の各動作を説明するシーケンス図である。図９（ａ）は、冷蔵庫１００の冷蔵室ＲＦＧ、野菜室ＶＧＴ及び冷凍室ＦＲＣの前にそれぞれ配置された３つのＡＲマーカ１０に対応する各画像データを画面に表示している様子を示す図である。図９（ｂ）は、冷蔵庫１００の冷蔵室ＲＦＧ、野菜室ＶＧＴ及び冷凍室ＦＲＣにそれぞれ光源としての３つのＡＲマーカ１０が配置された様子を示す図である。なお、図９（ａ）の携帯端末２０は、折り畳み形式（図５、図６参照）ではなく、スマートフォンの様に非折り畳み形式のものとして図示している。

図８において、ユーザの新たな画像データの撮像指示に応じて操作部２２から出力された操作信号を基に（Ｓ３１）、撮像部２５は、被写体又は景色の映像データを撮像する（Ｓ３２）。ステップＳ３２において撮像された画像データは、例えばＡＲマーカ１０に対応する画像データ１０−Ｃを更新する現在日付が２０１１年８月１５日である場合に、２０１１年８月１５日の冷凍室ＦＲＣにアイスが置かれ、同日には牛肉とアイスが少なくとも冷凍庫ＦＲＣに存在していることを示す内容とする。

撮像部２５により撮像された映像データ（画像データ）は映像処理部２６に出力され（Ｓ３３）、ユーザの画像処理指示操作に応じて操作部２２から出力された操作信号を基に（Ｓ３４）、映像処理部２６において画像データに対して画像処理が行われる（Ｓ３５）。

映像処理部２６は、ステップＳ３５において画像処理された画像データを制御部２１に出力する（Ｓ３６）。制御部２１は、映像処理部２６から出力された画像データを、所定の変調方式に従って変調する（Ｓ３７）。図８の説明において、変調された画像データを「変調画像データ」と記載する。

制御部２１は、ステップＳ３７において変調された変調画像データをデータ送信部３０に出力する（Ｓ３８）。データ送信部３０は、アンテナ２９を介して、変調画像データをＡＲマーカ１０に送信する（Ｓ３９）。データ受信部１６は、ステップＳ３９において送信された変調画像データを受信する（Ｓ４０）。データ受信部１６は、受信された変調画像データを制御部１１に出力する（Ｓ４１）。

制御部１１は、データ受信部１６から出力された変調画像データを、所定の復調方式に従って復調し（Ｓ４２）、新たな画像データを取得する。制御部１１は、ステップＳ４２において復調された新たな画像データをメモリ部１２に記憶し、ＡＲマーカ１０に対応する画像データ１０−Ｃを更新する（Ｓ４３）。制御部１１は、ＡＲマーカ１０に対応する画像データ１０−Ｃを更新した旨の更新完了通知をデータ受信部１６に出力する（Ｓ４４）。

データ受信部１６は、制御部１１から出力された更新完了通知を携帯端末２０に送信する（Ｓ４５）。データ送信部３０は、ステップＳ４５において送信された更新完了通知を制御部２１に出力する（Ｓ４６）。以上により、図８のＡＲマーカ１０と携帯端末２０との間で行われるＡＲマーカ１０に対応する画像データ１０−Ｃの更新の動作が終了する。

従って、携帯端末２０は、ＡＲマーカ１０に対応する画像データ１０−Ｃを更新できる。これにより、図９に示す様に、ユーザは、携帯端末２０を用いて冷蔵庫１００の冷蔵室ＲＦＧ，野菜室ＶＧＴ，冷凍室ＦＲＣに配置された各ＡＲマーカ１０からの可視光信号ＶＳを受光すると、携帯端末２０の画面にて、例えば冷蔵室ＲＦＧには２０１１年７月３１日に牛乳が存在し２０１１年８月１０日に卵が存在することを、冷蔵室ＲＦＧを開けることなく認識可能となる。更に、携帯端末２０の画面にて、例えば野菜室には２０１１年８月１０日にはほうれん草が存在し２０１１年７月２０日にじゃがいもが存在することを、野菜室ＶＧＴを開けることなく認識可能となる。更に、携帯端末２０の画面にて、例えば冷凍室ＦＲＣには２０１１年８月５日には牛肉が存在し２０１１年８月１５日にはアイスが存在することを、冷凍室ＦＲＣを開けることなく認識可能となる。

以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

上述した実施形態においては、携帯端末２０において受光部２４と撮像部２５とを別々の構成として説明したが、受光部２４と撮像部２５とは共用して構成しても良い。

また、上述した実施形態においては、本発明に係る通信端末の一例として携帯端末２０を例示して説明したが、他にＨＭＤ（Head Mounted Display）の様に、ユーザに簡易に装着可能な透過型ディスプレイに適用しても良い。この場合には、受光部２４が設けられたＨＭＤは、撮像部２５及び映像処理部２６を共用することが可能であると共に、ユーザの視界範囲と受光部２４の受光範囲とを共用することができる。これにより、上述した実施形態の様に、携帯端末２０において受光部２４及び輝度センサを用いた可視光光線ＶＳの到来角度（所定角θ）の判定処理に必要な処理を低減することができる。

本発明は、マーカ型の表示形態において、マーカを基に表示対象のデータを取得して、表示対象のデータを高速且つ簡易に表示画面に表示する通信端末、通信方法、マーカ装置及び通信システムとして有用である。

１ 通信システム
１０ ＡＲマーカ
１１、２１ 制御部
１２ メモリ部
１３ 可視光データ発光制御部
１４ 発光部
１５、２９ アンテナ
１６ データ受信部
２０ 携帯端末
２２ 操作部
２３ 可視光データ受光制御部
２４ 受光部
２５ 撮像部
２６ 映像処理部
２７ 表示制御部
２８ 表示部
３０ データ送信部
３１ ＲＡＭ
３２ ＲＯＭ
ＰＷ１０、ＰＷ２０ 電源
ＶＳ 可視光信号
ＷＳ 無線信号

Claims (6)

1. 光源としてのマーカ装置と光通信する通信端末であって、
   情報若しくはデータを表示する表示部と、
   前記マーカ装置から発光された光信号を受光する受光部と、
   前記受光部により受光された前記光信号を、前記マーカ装置に対応するデータが変調された変調信号に変換する受光制御部と、
   前記通信端末の周囲の映像を取得する撮像部と、
   前記撮像部により取得された前記映像を前記表示部に表示させる表示制御部と、
   前記受光制御部により変換された前記変調信号を復調して前記マーカ装置に対応するデータを取得する制御部と、を備え、
   前記制御部は、前記表示制御部により前記表示部に表示された前記映像の表示画面の所定位置に、前記マーカ装置に対応するデータを表示するように前記表示制御部に指示する通信端末。
2. 請求項１に記載の通信端末であって、
   前記光通信は、可視光通信であり、
   前記受光部は、前記マーカ装置から発光された可視光信号を受光する通信端末。
3. 請求項１又は２に記載の通信端末であって、
   前記マーカ装置に対応する新たなデータへの更新指示を受け付ける操作部と、
   前記操作部により受け付けられた前記更新指示を基に、更新対象である前記マーカ装置に対応する新たなデータを前記マーカ装置に送信するデータ送信部と、を更に備える通信端末。
4. 光源としてのマーカ装置と光通信する通信端末における通信方法であって、
   前記マーカ装置から発光された光信号を受光するステップと、
   前記受光された前記光信号を、前記マーカ装置に対応するデータが変調された変調信号に変換するステップと、
   前記通信端末の周囲の映像を取得するステップと、
   前記取得された前記映像を表示部に表示させるステップと、
   前記変換された前記変調信号を復調して前記マーカ装置に対応するデータを取得するステップと、
   前記表示部に表示された前記映像の表示画面の所定位置に、前記取得された前記マーカ装置に対応するデータを表示するように指示するステップと、を備える通信方法。
5. 通信端末と光通信する光源としてのマーカ装置であって、
   前記マーカ装置に対応するデータを保存するメモリ部と、
   前記メモリ部に保存されている前記マーカ装置に対応するデータを変調する制御部と、
   前記制御部により変調された前記マーカ装置に対応するデータを前記光通信における光信号に変換する発光制御部と、
   前記発光制御部により変換された光信号を用いて発光する発光部と、を備えるマーカ装置。
6. 光源としてのマーカ装置と前記マーカ装置と光通信する通信端末とを含む通信システムであって、
   前記マーカ装置は、
   前記マーカ装置に対応するデータを保存するメモリ部と、
   前記メモリ部に保存されている前記マーカ装置に対応するデータを変調する制御部と、
   前記制御部により変調された前記マーカ装置に対応するデータを前記光通信における光信号に変換する発光制御部と、
   前記発光制御部により変換された光信号を用いて発光する発光部と、を備え、
   前記通信端末は、
   情報若しくはデータを表示する表示部と、
   前記マーカ装置から発光された光信号を受光する受光部と、
   前記受光部により受光された前記光信号を、前記マーカ装置に対応するデータが変調された変調信号に変換する受光制御部と、
   前記通信端末の周囲の映像を取得する撮像部と、
   前記撮像部により取得された前記映像を前記表示部に表示させる表示制御部と、
   前記受光制御部により変換された前記変調信号を復調して前記マーカ装置に対応するデータを取得する制御部と、を備え、
   前記制御部は、前記表示制御部により前記表示部に表示された前記映像の表示画面の所定位置に、前記マーカ装置に対応するデータを表示するように前記表示制御部に指示する通信システム。

Images