JP2019029695A - 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム - Google Patents

判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム Download PDF

Info

Publication number
JP2019029695A
JP2019029695A JP2017143710A JP2017143710A JP2019029695A JP 2019029695 A JP2019029695 A JP 2019029695A JP 2017143710 A JP2017143710 A JP 2017143710A JP 2017143710 A JP2017143710 A JP 2017143710A JP 2019029695 A JP2019029695 A JP 2019029695A
Authority
JP
Japan
Prior art keywords
light source
image
region
color
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017143710A
Other languages
English (en)
Other versions
JP6897389B2 (ja
Inventor
圭造 加藤
Keizo Kato
圭造 加藤
健介 倉木
Kensuke Kuraki
健介 倉木
田中　竜太
Ryuta Tanaka
竜太 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017143710A priority Critical patent/JP6897389B2/ja
Priority to EP18184152.9A priority patent/EP3435557B1/en
Priority to US16/041,038 priority patent/US10523365B2/en
Publication of JP2019029695A publication Critical patent/JP2019029695A/ja
Application granted granted Critical
Publication of JP6897389B2 publication Critical patent/JP6897389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0047—Decoding adapted to other signal detection operation
    • H04L1/0048—Decoding adapted to other signal detection operation in conjunction with detection of multiuser or interfering signals, e.g. iteration between CDMA or MIMO detector and FEC decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0061—Error detection codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Communication System (AREA)

Abstract

【課題】画像上で情報が重畳された光が表された領域が光源から直接受光した光か否かを判別することが可能な判別用コンピュータプログラムを提供する。【解決手段】判別用コンピュータプログラムは、撮像部により生成された、光源から発し、かつ伝送される情報が重畳された光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像上で、伝送される情報が復号された領域を特定し、特定した領域の色と光源から発した光の色との類似度に基づいて、特定した領域に、光源）または光源からの光を反射する物体の何れが写っているかを判別する、ことをコンピュータに実行させるための命令を含む。【選択図】図９

Description

本発明は、例えば、画像上で光源が表されている領域を判別する判別用コンピュータプログラム、判別装置及び判別方法、及び、そのような判別方法を利用する通信システムに関する。
従来より、照明光源として発光ダイオード(Light Emitting Diode, LED)が広く利用されている。LEDは、白熱電球または蛍光灯と比較して、応答速度が速いという特徴を有する。この特徴を利用して、人の目では認識できない速さでLEDを明滅させることでLEDから発する光に情報を重畳して通信を行う可視光通信技術が研究されている。特に、照明光に伝送する情報を重畳する技術は、照明光通信とも呼ばれる。
可視光通信は、電波の使用が制限されている場所での通信用途、室内など光が届く範囲に限定した情報配布、または、Intelligent Transport Systems(ITS)などでの利用が検討されている。
可視光通信において、照明光源からの光に重畳された情報を受信する装置が、何らかの物体により反射された照明光源からの光を受光して、その光に重畳された情報を復調する技術が提案されている（例えば、特許文献１を参照）。
特開２０１２−５５５８２号公報
照明光源からの光に重畳された情報を受信する受信装置が有する撮像部により生成される画像に、照明光源そのものと、照明光源から発した光を反射する物体の両方が写ることがある。このような場合、受信装置は、照明光源そのものが写った領域と、照明光源から発した光を反射する物体が写った領域のそれぞれから、重畳された情報を復号できることがある。そのため、場合によっては、受信装置は、復号された情報を、照明光源そのものが写った領域あるいは照明光源から発した光を反射する物体が写った領域の何れに対して利用するかを判断できないことがある。
一つの側面では、本発明は、画像上で情報が重畳された光が表された領域が光源から直接受光した光か否かを判別することが可能な判別用コンピュータプログラムを提供することを目的とする。
一つの実施形態によれば、判別用コンピュータプログラムが提供される。この判別用コンピュータプログラムは、撮像部により生成された、光源から発し、かつ伝送される情報が重畳された光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像上で、伝送される情報が復号された領域を特定し、特定した領域の色と光源から発した光の色との類似度に基づいて、特定した領域に、光源または光源からの光を反射する物体の何れが写っているかを判別する、ことをコンピュータに実行させるための命令を含む。
他の実施形態によれば、送信装置と受信装置とを有する通信システムが提供される。この通信システムにおいて、送信装置は、光を発する光源と、伝送される情報を光源から発する光に重畳するよう光源を制御する制御部とを有する。
受信装置は、光源から発し、かつ伝送される情報が重畳された光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、画像上で、伝送される情報が復号された領域を特定する復号部と、特定された領域の色と光源から発した光の色との類似度に基づいて、特定された領域に、光源または光源からの光を反射する物体の何れが写っているかを判別する判別部とを有する。
また他の実施形態によれば、判別方法が提供される。この判別方法は、光源から発し、かつ伝送される情報が重畳された光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成し、画像上で、伝送される情報が復号された領域を特定し、特定された領域の色と光源から発した光の色との類似度に基づいて、特定された領域に、光源または光源からの光を反射する物体の何れが写っているかを判別することを含む。
さらに他の実施形態によれば、判別装置が提供される。この判別装置は、光源から発し、かつ伝送される情報が重畳された光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、画像上で、伝送される情報が復号された領域を特定する復号部と、特定された領域の色と光源から発した光の色との類似度に基づいて、特定された領域に、光源または光源からの光を反射する物体の何れが写っているかを判別する判別部とを有する。
一つの側面によれば、画像上で情報が重畳された光が表された領域が光源から直接受光した光か否かを判別することができる。
一つの実施形態による通信システムの概略構成図である。 図１に示された通信システムで利用される送信装置のハードウェア構成図である。 位相変調方式による、発光パターンと重畳されるシンボルの値の関係の一例を示す図である。 図１に示された通信システムで利用される受信装置のハードウェア構成図である。 受信処理を含む判別処理に関する受信装置のプロセッサの機能ブロック図である。 発光パターンにより重畳された情報についての受信処理の概念図である。 反射物体による色の変化を説明する図である。 合成画像の一例を示す図である。 受信装置により実行される、受信処理を含む判別処理の動作フローチャートである。 変形例による動画像配信システムの概略構成図である。 図１０に示される変形例による、カメラにより得られる画像とクライアント端末の表示装置の表示画面に表示される領域との関係の一例を示す図である。
以下、図を参照しつつ、通信システム及び通信システムで利用される判別装置について説明する。この通信システムでは、送信装置は、照明光源から発する光に情報を重畳する。判別装置の一例である受信装置は、撮像部を有する。受信装置は、撮像部により、照明光源及び照明光源から発した光を反射する物体の少なくとも一方を一定周期ごとに撮影することで、照明光源または照明光源から発した光を反射する物体の少なくとも一方が写った画像を一定周期ごとに生成する。そして受信装置は、一定周期ごとに生成された画像に基づいて、照明光源から発した光に重畳された情報を復号する。その際、この受信装置は、情報が復号された画像上の領域について、その領域の色と、照明光源から発する光の色との類似度に基づいて、照明光源そのものか、あるいは、照明光源から発した光を反射する物体の何れが写っているかを判別する。
なお、以下では、送信装置が有する照明光源からの光を反射する物体を、単に反射物体と呼ぶ。
図１は、一つの実施形態による通信システムの概略構成図である。通信システム１００は、送信装置１と、受信装置２と、サーバ３とを有する。そして送信装置１は、自装置が有する照明光源が発する光に伝送する情報を重畳する。重畳される情報は、例えば、送信装置１の照明光源により照明される反射物体５を識別するための識別情報とすることができるが、これに限られない。一方、受信装置２は、撮像部を有し、その撮像部で、送信装置１そのものまたは送信装置１からの光で照明された反射物体５を含む撮影範囲を時系列的に連続して撮影して得られる、時系列に並んだ複数の画像から光に重畳された情報を復号する。また、受信装置２は、通信ネットワーク４を介してサーバ３と通信可能であり、復号された情報をサーバ３に伝送する。そして、サーバ３は、受信装置２から復号された情報を受信すると、受信した情報に対応する他の情報を受信装置２へ返信する。他の情報は、例えば、反射物体５の関連情報とすることができる。また、受信装置２は、情報を復号できた画像上の領域について、送信装置１の照明光源が写っているのか、あるいは、反射物体５が写っているのかを判別する。そして受信装置２は、サーバ３から受信した他の情報を、画像上の反射物体５が写っている領域またはその近傍に表した合成画像を生成し、その合成画像を受信装置２が有する表示装置に表示させる。
なお、この例では、通信システム１００は、一つの受信装置２のみを含んでいるが、通信システム１００に含まれる受信装置２の台数は１台に限られない。通信システム１００は、複数の受信装置２を含んでもよい。同様に、通信システム１００は、複数の送信装置１を含んでもよい。
図２は、送信装置１のハードウェア構成図である。送信装置１は、通信インターフェース１１と、メモリ１２と、照明光源１３と、プロセッサ１４とを有する。そして送信装置１は、通信インターフェース１１を介して取得した、あるいは、メモリ１２に予め記憶された、反射物体５の識別情報を、照明光源１３が発する光に重畳してその情報を送信する。
通信インターフェース１１は、例えば、送信装置１を、他の装置に接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース１１は、他の装置から受信した情報をプロセッサ１４へ渡す。他の装置から受信した情報は、例えば、反射物体５の識別情報とすることができる。
メモリ１２は、例えば、読み出し専用の不揮発性の半導体メモリと読み書き可能な揮発性の半導体メモリとを有する。そしてメモリ１２は、例えば、反射物体５の識別情報を記憶する。またメモリ１２は、プロセッサ１４が送信処理を行うために利用する各種の情報及びプログラムを記憶する。例えば、メモリ１２は、シンボル値ごとに、そのシンボル値に対応する発光パターンを表す波形データを記憶する。発光パターンを表す波形データは、例えば、その発光パターンに応じた照明光源１３からの光の制御開始時点における発光パターンの位相、周期、変調される光の特性の最大値及び最小値などを含む。あるいは、メモリ１２は、予め、反射物体５の識別情報に含まれる各シンボルの発光パターンを表す波形データを記憶していてもよい。
照明光源１３は、光源の一例であり、発光する光の特性を時系列に沿って変化させることが可能な少なくとも一つの発光素子と、駆動回路とを有する。駆動回路は、プロセッサ１４からの制御信号に応じて、その少なくとも一つの発光素子から発する光の特性を変更するよう、その少なくとも一つの発光素子を駆動する。駆動回路は、例えば、制御信号により指示された、その発光素子から発する光の輝度または色成分の強度に応じて、発光素子に流れる電流の大きさ、または、発光素子に電流が流れる期間のデューティ比を調節する。
時系列に沿って変化可能な光の特性は、例えば、輝度とすることができる。あるいは、時系列に沿って変化可能な光の特性は、発光色であってもよい。あるいはまた、時系列に沿って変化可能な光の特性は、発光色と輝度の組み合わせであってもよい。
時系列に沿って変化可能な光の特性が輝度である場合、照明光源１３は、輝度を時系列に沿って変更可能な少なくとも一つの発光素子、例えば、白色LEDあるいは有機エレクトロルミネッセンス(Electro Luminescence, EL)素子を有してもよい。
また、時系列に沿って変化可能な光の特性が色に関する特性である場合、照明光源１３は、例えば、発光色が互いに異なる少なくとも２種類の発光素子、例えば、赤色LED、緑色LED及び青色LEDのうちの少なくとも２種類を有する。そして各発光素子が発する色の強度の比率が時系列に沿って変化することで照明光源１３が発する光の色も時系列に沿って変化する。あるいは、照明光源１３は、発光色そのものを変調可能な少なくとも一つの発光素子を有してもよい。発光色そのものを変調可能な発光素子は、例えば、蛍光灯のように複数の波長を含む光を発する発光素子と、アレイ状に配置されたカラーフィルタを有する液晶パネルのように、光の波長ごとの透過率を調整できる光変調素子との組み合わせとすることができる。
照明光源１３は、プロセッサ１４からの制御信号に従って、発光する光の特性を、伝送する情報に含まれるシンボルの値に応じた発光パターンに従って、所定の時間長を持つ周期で時系列に変化させることで、照明光源１３から発する光に情報を重畳する。
プロセッサ１４は、制御部の一例であり、例えば、Central Processing Unit(CPU)と、その周辺回路とを有する。そしてプロセッサ１４は、送信装置１全体を制御する。プロセッサ１４は、通信インターフェース１１を介して反射物体５の識別情報を受け取った場合、その識別情報をメモリ１２に一旦記憶する。そしてプロセッサ１４は、送信処理を実行する場合、反射物体５の識別情報をメモリ１２から読み込み、その識別情報をシンボル単位で分割する。そしてプロセッサ１４は、シンボルごとに、そのシンボルの値に応じた発光パターンを表す波形データをメモリ１２から読み込む。プロセッサ１４は、発光パターンに応じて照明光源１３から発する光の特性を時系列に沿って変化させるように照明光源１３を制御する。
なお、送信処理を実行するタイミングは予め設定されていてもよい。あるいは、図示しないユーザインターフェースからの操作によって、あるいは、通信インターフェース１１を介して受信した、他の装置からの送信処理の開始指示信号に応じて、プロセッサ１４は、送信処理を開始してもよい。あるいはまた、プロセッサ１４は、一定周期ごとに、送信処理を繰り返し実行してもよい。
例えば、プロセッサ１４は、シンボルの値に応じた発光パターンの変調方式として、無線通信で利用されている様々な変調方式を利用できる。例えば、プロセッサ１４は、一つのシンボルを一つのビットに対応させてもよい。この場合、プロセッサ１４は、二位相偏移変調方式(binary phase-shift keying, BPSK)のように、シンボルの値が'0'に対応する発光パターンとシンボルの値が'1'に対応する発光パターンとの間で位相を180°反転させる。
また、プロセッサ１４は、二つのビットを一つのシンボルに対応させてもよい。この場合、プロセッサ１４は、例えば、四位相偏移変調方式(quadriphase phase-shift keying, QPSK)に従って周期的に光の特性が変動する発光パターンを設定してもよい。すなわち、プロセッサ１４は、シンボルが取り得る４通りの値('00','01','10','11')のそれぞれごとに、位相が90°ずつ異なる、周期的に光の特性が変動する発光パターンを設定してもよい。
図３は、位相変調方式による、発光パターンと重畳されるシンボルの値の関係の一例を示す図である。図３において、横軸は時間を表し、縦軸は、送信装置１から発せられる光の特性（例えば、輝度または色）を表す。発光パターン３０１及び発光パターン３０２は、それぞれ、シンボル値'0'、'1'に相当する。そして発光パターン３０１及び発光パターン３０２では、何れも時間経過とともに光の特性が周期的に変化するが、位相が互いに対して180°ずれている。このように、光の特性の時間変動における位相をシンボル値ごとに異ならせることで、送信装置１は、照明光源１３が発する光に情報を重畳することができる。なお、発光パターンとシンボル値の関係は、この例に限られない。
本実施形態では、発光パターンは、例えば、図３に示されるように、時間経過に伴って光の特性が正弦波状に変化する周期的な変動パターンとなる。発光パターンは、この例に限られず、例えば、光の特性が三角形状、あるいは矩形パルス状に周期的に変動するパターンであってよい。
発光パターンの１周期、すなわち、第１の時間長は、例えば、受信装置２が有する撮像部の撮影レートでも、受信装置がその発光パターンの波形を再現できるように、その撮影レートの逆数の数倍に設定される。例えば、第１の時間長は、数10msec〜数100msec(すなわち、第１の時間長に対応する第１の周波数は数Hz〜数10Hz)とすることができる。
プロセッサ１４は、例えば、伝送すべき情報を、１〜複数のビットを持つビット列単位で分割し、各ビット列を、それぞれ、一つのシンボルとする。プロセッサ１４は、シンボルの値に応じた発光パターンを表す波形データをメモリ１２から読み込む。そしてプロセッサ１４は、シンボルごとに所定長を持つ期間を設定する。プロセッサ１４は、その期間において、１〜数周期分、照明光源１３にシンボル値に応じた発光パターンを繰り返させる。
なお、プロセッサ１４は、伝送すべき情報の所定の位置、例えば、先頭に、プリアンブルとして、所定のシンボル列（例えば、'01010101'）を含めてもよい。あるいは、プロセッサ１４は、伝送すべき情報に、巡回冗長検査(Cyclic Redundancy Check, CRC)符号といった、誤り検出符号を含めてもよい。プロセッサ１４が、これらのシンボル列または誤り検出符号を伝送すべき情報に含めることで、受信装置２は、伝送された情報を正確に復号することが容易となる。
なお、プロセッサ１４は、他の変調方式に従って、照明光源１３から発する光の特性を変調してもよい。例えば、プロセッサ１４は、周波数変調方式に従って、照明光源１３から発する光の特性を変調してもよい。この場合には、プロセッサ１４は、シンボルの値に応じて、発光パターンの１周期の長さを変更すればよい。
次に、受信装置２について説明する。
図４は、受信装置２のハードウェア構成図である。受信装置２は、例えば、カメラを有する携帯端末、あるいは、据え置き型の装置とすることができる。そして受信装置２は、通信インターフェース２１と、メモリ２２と、記憶媒体アクセス装置２３と、カメラ２４と、ユーザインターフェース２５と、プロセッサ２６とを有する。受信装置２は、送信装置１からの光が照射された領域の少なくとも一部を含む撮影範囲を、カメラ２４により所定の撮影レートで時系列に沿って複数回撮影して得られる複数の画像を解析する。これにより、受信装置２は、送信装置１が照明光源１３から発する光に重畳させて送信した情報（本実施形態では、反射物体５の識別情報）を復号する。
通信インターフェース２１は、例えば、受信装置２を、通信ネットワーク４に接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース２１は、プロセッサ２６から受け取った、復号された反射物体５の識別情報を、通信ネットワーク４を介してサーバ３へ送信する。また通信インターフェース２１は、サーバ３から受け取った情報をプロセッサ２６へ渡す。
メモリ２２は、記憶部の一例であり、例えば、読み出し専用の不揮発性の半導体メモリと読み書き可能な揮発性の半導体メモリとを有する。そしてメモリ２２は、例えば、カメラ２４により時系列に沿って生成された複数の画像を受信処理の実行中において記憶する。またメモリ２２は、プロセッサ２６が受信処理を行うために利用する各種の情報及びプログラムを記憶する。さらにメモリ２２は、送信装置１が送信し、かつ復号された情報を記憶してもよい。
記憶媒体アクセス装置２３は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体２７にアクセスする装置である。記憶媒体アクセス装置２３は、例えば、記憶媒体２７に記憶された、プロセッサ２６上で実行される、受信処理用のコンピュータプログラムを読み込み、プロセッサ２６に渡す。
カメラ２４は、撮像部の一例であり、例えば、CCDあるいはCMOSといった、送信装置１の照明光源１３が発する光に感度を持つ固体撮像素子の２次元アレイにより形成されるイメージセンサと、そのイメージセンサ上に、撮影範囲の像を結像する結像光学系を有する。なお、撮影範囲は、照明光源１３が発した光が照射された範囲の少なくとも一部が含まれる。そして送信装置１の照明光源１３または反射物体５が撮影範囲に含まれるように、受信装置２は配置されることが好ましい。そしてカメラ２４は、受信装置２が受信処理を行っている間、所定の撮影レートで撮影を行って、撮影を行う度に画像を生成する。なお、所定の撮影レートは、例えば、第１の時間長の1/2以下の時間周期に相当する撮影レートとすることができる。また本実施形態では、カメラ２４が生成する画像はカラー画像である。
カメラ２４は、画像を生成する度に、その画像をプロセッサ２６へ出力する。
ユーザインターフェース２５は、例えば、表示装置と、操作ボタンとを有する。あるいは、ユーザインターフェース２５は、タッチパネルディスプレイを有してもよい。そしてユーザインターフェース２５は、人の操作に応じた操作信号、例えば、受信処理の開始を指示する操作信号をプロセッサ２６へ出力する。またユーザインターフェース２５は、プロセッサ２６から受け取った各種の情報及び合成画像などを表示する。
プロセッサ２６は、CPUと、その周辺回路とを有する。そしてプロセッサ２６は、受信装置２全体を制御する。またプロセッサ２６は、カメラ２４により、時系列に沿って生成された複数の画像を周波数解析して、送信装置１から送信された情報を復号する。
図５は、受信処理を含む判別処理に関するプロセッサ２６の機能ブロック図である。プロセッサ２６は、分割部２６１と、特徴抽出部２６２と、復号部２６３と、判別部２６４と、合成部２６５とを有する。プロセッサ２６が有するこれらの各部は、例えば、プロセッサ２６上で動作するコンピュータプログラムにより実現されるソフトウェアモジュールである。あるいは、プロセッサ２６が有するこれらの各部は、その各部の機能を実現するファームウェアとして受信装置２に実装されてもよい。なお、分割部２６１、特徴抽出部２６２及び復号部２６３により受信処理が実行される。
図６は、発光パターンにより重畳された情報についての受信処理の概念図である。送信装置１の照明光源１３からの光で照明された物体がカメラ２４により生成された各画像に写っているとすると、その物体が写っている領域に含まれる画素値は、照明光源１３が発する光の特性の変化に影響される。そこで、カメラ２４により生成された画像６００−１、６００−２、６００−３、・・・、６００−ｎは、それぞれ複数の領域６０１に分割される。そして各領域から照明光源１３が発する光の特性を表す特徴量６０２が抽出され、その特徴量６０２の時間変化を調べることで、発光パターン６０３が特定される。したがって、受信装置２は、発光パターン６０３に対応するシンボルの値を復号することが可能となる。
分割部２６１は、各画像を複数の領域に分割する。例えば、分割部２６１は、各画像を、水平方向及び垂直方向に、それぞれ２〜４分割してもよい。また分割部２６１は、複数の分割方法で各画像を分割してもよい。例えば、分割部２６１は、各画像を、水平方向及び垂直方向のそれぞれについて２分割して、各画像について４個の領域を設定するとともに、各画像を、水平方向及び垂直方向のそれぞれについて３分割して、各画像について９個の領域を設定してもよい。これにより、何れかの領域において反射物体５が表された領域、あるいは送信装置１の照明光源１３そのものが領域の大部分を占めるように、領域を設定できる確率が高くなる。
分割部２６１は、各画像の各領域を表す情報（例えば、領域間の境界の位置）を特徴抽出部２６２へ渡す。
特徴抽出部２６２は、各画像の各領域から、送信装置１の照明光源１３から発した光の発光パターンに応じて時系列で変化する光の特性を表す特徴量を抽出する。例えば、時系列で変化する光の特性が輝度である場合、特徴抽出部２６２は、各領域の画素の輝度値の平均値あるいは中央値を特徴量として抽出する。また、時系列で変化する光の特性が発光色である場合、特徴抽出部２６２は、各領域の各画素の値をYUV色空間またはHLS色空間の値に変換して、各画素の色成分（例えば、U成分、V成分、または色相）の平均値または中央値を特徴量として算出する。なお、カメラ２４により得られた画像の各画素の値がRGB色空間で表されている場合には、特徴抽出部２６２は、画像の各画素の値をYUV色空間またはHLS色空間の値に変換することで、色成分の平均値または中央値を算出できる。なお、特徴量は上記の例に限られず、特徴抽出部２６２は、発光パターンで変化する光の特性に応じて時系列で変化する様々な特徴量、例えば、領域内の輝度値または特定の色成分の総和、分散または標準偏差を特徴量として抽出してもよい。あるいはまた、特徴抽出部２６２は、時間的に連続する２枚の画像間で同じ位置にある画素の画素値間の差分値の領域内の平均値を特徴量として抽出してもよい。
特徴抽出部２６２は、各画像の領域ごとの発光パターンに関する特徴量を復号部２６３へ渡す。
復号部２６３は、領域ごとに抽出された特徴量の時系列順での変化から発光パターンを特定し、その発光パターンに応じたシンボルの値を復号する。そして復号部２６３は、各画像上で伝送された情報が復号された領域を特定する。
上記のように、発光パターンに従って送信装置１の照明光源１３から発した光の特性が周期的に変動している場合、送信装置１により照明された物体が写っている領域の特徴量の時間変動は、発光パターンの変動周期に応じた時間軸方向の周波数成分を持つ。例えば、図３に示されるように、送信装置１からの光の特性が正弦波状に変動する場合、時間軸方向における特徴量の周波数成分には、その正弦波に対応する特定の周波数成分が含まれる。同様に、送信装置１からの光の特性が三角波状または矩形パルス状に変動する場合も、時間軸方向における特徴量の周波数成分には、その三角波または矩形パルスに対応する特定の周波数成分が含まれる。
そこで復号部２６３は、一つのシンボルに対応する期間と同じ長さの着目期間に含まれる複数の画像について、同一の物体が写っている一連の領域ごとに、時系列順にその一連の領域から抽出された特徴量を並べて１次元ベクトルを作成する。なお、送信装置１の照明光源１３及び受信装置２の位置が固定されており、かつ、反射物体５が静止している場合、複数の画像において同一の物体が写っている一連の領域は、各画像上の同じ位置にある領域とすることができる。また、ユーザが受信装置２を手で持っている場合のように、送信装置１の照明光源１３及び反射物体５に対する受信装置２の相対的な位置が変化する場合もある。このような場合、復号部２６３は、複数の画像間でトラッキング処理を実行することで、同一の物体が写っている一連の領域を特定すればよい。そして復号部２６３は、その１次元ベクトルをフーリエ変換する。そして復号部２６３は、一連の領域ごとに、得られた周波数成分から発光パターンの周期に対応する周波数のスペクトルを抽出する。例えば、位相変調方式により情報が重畳されている場合には、復号部２６３は、発光パターンの周期と同じ一つの周波数のスペクトルを抽出すればよい。また、周波数変調方式により情報が重畳されている場合には、復号部２６３は、各シンボルのそれぞれに対応する周波数のスペクトルを抽出すればよい。
復号部２６３は、抽出したスペクトルの振幅レベルが所定の閾値以上となる一連の領域を特定する。なお、特定される一連の領域の数は一つに限られず、複数であってもよい。特に、各画像に照明光源１３と反射物体５の両方が写っている場合、特定される一連の領域は二つとなることが想定される。
周波数変調方式により情報が重畳されている場合には、復号部２６３は、抽出した複数の周波数のうちの何れか一つの周波数のスペクトルの振幅レベルが所定の閾値以上となる一連の領域を選択すればよい。これにより、復号部２６３は、反射物体５または送信装置１の照明光源１３そのものが写っている一連の領域を特定できる。そして復号部２６３は、特定した一連の領域について、抽出したスペクトルから、発光パターンに応じた値を持つ成分を検出する。発光パターンに応じた値を持つ成分は、情報が位相変調方式により重畳されている場合には、例えば、着目期間内の所定時点（例えば、着目期間の開始時点または終了時点）における光の特性の周期的な変動の位相である。
なお、送信装置１がシンボルごとに設定する期間と、着目期間とがずれている可能性がある。そこで復号部２６３は、時系列に沿って着目期間を１フレームずつずらしながら、上記の処理を行って、着目期間ごとに所定時点における位相を検出する。この場合、着目期間と送信装置１がシンボルごとに設定する期間とが一致した場合に、検出された位相の値が何れかのシンボルに相当する値となるので、復号部２６３は、その位相の値を、発光パターンに応じた位相値とすればよい。一旦、着目期間と送信装置１がシンボルごとに設定する期間とが一致した場合、復号部２６３は、その着目期間を基準として、以後の着目期間を設定すればよい。そして復号部２６３は、着目期間ごとに、発光パターンに応じた位相を検出する。
また、情報が周波数変調方式により重畳されている場合には、復号部２６３は、選択した領域について、スペクトルの振幅レベルが所定の閾値以上となる周波数を、発光パターンに応じた値を持つ成分とする。
この場合も、送信装置１がシンボルごとに設定する期間と、着目期間とがずれている可能性がある。そこで復号部２６３は、時系列に沿って着目期間を１フレームずつずらしながら、上記の処理を行って、着目期間ごとに、発光パターンのそれぞれに対応する周波数の振幅レベルを検出する。この場合、着目期間と送信装置１がシンボルごとに設定する期間とが一致した場合に、発光パターンの何れかに対応する周波数の振幅レベルが極大値となるので、復号部２６３は、その極大値に対応する周波数を、発光パターンに応じた周波数とすればよい。一旦、着目期間と送信装置１がシンボルごとに設定する期間とが一致した場合、復号部２６３は、その着目期間を基準として、以後の着目期間を設定すればよい。そして復号部２６３は、着目期間ごとに、発光パターンに応じた周波数を検出する。
なお、復号部２６３は、上記の方法以外の方法により、発光パターンを特定してもよい。例えば、復号部２６３は、着目期間内で、時間的に隣接する画像間での特徴量の差分値を求め、その差分値により特徴量の増減を調べることで、発光パターンを特定してもよい。
復号部２６３は、検出された成分を時系列順に並べる。復号部２６３は、上記のように、プリアンブルとして、伝送される情報に所定のシンボル列（例えば、'01010101'）が含まれている場合、検出された成分の並びから、そのプリアンブルに相当するシンボル列と一致する部分を抽出する。そして復号部２６３は、抽出した部分において検出された成分とシンボルの値が一致するように、検出された成分とシンボルの値を対応付ければよい。
あるいは、復号部２６３は、伝送される情報にCRC符号といった誤り検出符号が含まれている場合、その誤り検出符号を利用してシンボルの誤りが最小となるように、検出された成分とシンボルの値を対応付けてもよい。
あるいはまた、復号部２６３は、検出された成分とシンボルの値との対応関係を表す参照テーブルを参照して、検出された成分に応じたシンボルの値を求めてもよい。なお、その参照テーブルは、例えば、予めメモリ２２に記憶される。
復号部２６３は、復号されたシンボルの値を所定の順序、例えば、時間順に並べることで、伝送された情報（本実施形態では、反射物体５の識別情報）を復号する。そして復号部２６３は、復号された情報をメモリ２２に記憶する。
さらに、復号部２６３は、同一の情報が復号された一連の領域が複数存在する場合、複数の一連の領域に対してラベリング処理を実行してもよい。そして復号部２６３は、複数の一連の領域に対して割り当てられたラベルの数が一つ、すなわち、複数の一連の領域が互いに隣接している場合には、それら複数の一連の領域を、一つの一連の領域としてもよい。
復号部２６３は、情報が復号された一連の領域のそれぞれを判別部２６４へ通知する。
判別部２６４は、伝送された情報が復号された、複数の画像にわたる一連の領域に、送信装置１の照明光源１３または反射物体５の何れが写っているかを判別する。
反射物体５が、色に応じて反射率が異なる分光反射特性を有する場合、照明光源１３から発した光を直接受光した場合のその受光した光の色と比較して、照明光源１３から発して反射物体５により反射された光を受光した場合のその受光した光の色は変化する。
図７は、反射物体による色の変化を説明する図である。照明光源１３から発した光の赤色成分７０１、緑色成分７０２及び青色成分７０３のそれぞれの振幅の比率と、画像７００上で照明光源１３が写っている領域７１０における、赤色成分７１１、緑色成分７１２及び青色成分７１３のそれぞれの振幅の比率とは略等しい。これに対して、例えば、反射物体５が、赤色に対する反射率が、青色及び緑色に対する反射率よりも高い分光反射特性を持つものとする。この場合、画像７００において、反射物体５が写っている領域７２０では、赤色成分７２１の振幅が、緑色成分７２２の振幅及び青色成分７２３の振幅よりも大きくなる。その結果として、領域７２０の色は、領域７１０の色と比較して赤っぽくなる。
そこで判別部２６４は、伝送された情報が復号された一連の領域ごとに、その一連の領域における対応画素ごとに、各色成分について、その色成分の最大値と最小値の差の1/2を振幅として求め、領域全体で振幅の平均値を算出する。なお、送信装置１の照明光源１３または反射物体５は、領域の一部に写っていることもある。そこで判別部２６４は、伝送された情報が復号された一連の領域ごとに、その一連の領域内で輝度値が高い方から順に所定数（例えば、領域に含まれる画素の総数の10〜20%）の画素について、色成分ごとの振幅を算出してもよい。そして判別部２６４は、伝送された情報が復号された一連の領域ごとに、領域全体で色成分ごとの振幅の平均値を算出してもよい。判別部２６４は、色成分ごとの振幅の平均値をそれぞれ要素とする色成分のベクトルを算出する。
あるいは、判別部２６４は、伝送された情報が復号された一連の領域ごとに、その一連の領域における対応画素ごとに、各色成分について、その色成分の強度の平均値を算出し、さらに領域全体でその色成分の強度の平均値をさらに平均してもよい。そして判別部２６４は、伝送された情報が復号された一連の領域ごとに、色成分ごとの強度の平均値をそれぞれ要素とする色成分のベクトルを算出してもよい。
さらに、判別部２６４は、色成分のベクトルの各要素を、何れかの要素で正規化することで、色成分の正規化ベクトルを算出する。例えば、赤色成分を表す要素をAR、緑色成分を表す要素をAG、青色成分を表す要素をABとすると、判別部２６４は、色成分の正規化ベクトルとして、(AR/AR,AG/AR,AB/AR)を算出する。
判別部２６４は、伝送された情報が復号された一連の領域ごとに、その一連の領域の色と、送信装置１の照明光源１３から発した光の色との類似度を算出する。判別部２６４は、類似度として、例えば、その一連の領域について算出された色成分の正規化ベクトルと、送信装置１の照明光源１３から発した光の色成分の正規化ベクトル間のコサイン類似度を算出すればよい。なお、判別部２６４は、伝送された情報が復号された一連の領域ごとに、その一連の領域についての色成分のベクトルと、送信装置１の照明光源１３から発した光の色成分のベクトル間のコサイン類似度を類似度として算出してもよい。あるいは、判別部２６４は、伝送された情報が復号された一連の領域ごとに、その一連の領域について算出された色成分ごとの振幅の平均値と照明光源１３から発した光の対応する色成分の振幅間の差を算出してもよい。そして判別部２６４は、色成分ごとの差の二乗和Σd2にオフセット値α（例えば、α=1）を加えた値(Σd2+α)の逆数を類似度として算出してもよい。このように類似度を算出することで、判別部２６４は、伝送された情報が復号された一連の領域の色と照明光源１３が発する光の色との類似度を正確に評価することができる。
なお、送信装置１の照明光源１３から発した光の色成分のベクトルまたは正規化ベクトルは、例えば、メモリ２２に予め記憶される。あるいは、受信装置２は、送信装置１の照明光源１３から発した光の色成分のベクトルまたは正規化ベクトルを、サーバ３から通信ネットワーク４を介して受信してもよい。その際、サーバ３は、反射物体５の識別情報と、反射物体５を照明する照明光源１３についての色成分のベクトルまたは正規化ベクトルを対応付けて記憶していてもよい。そして判別部２６４は、復号された情報（この例では、反射物体５の識別情報）をサーバ３へ送信し、サーバ３は、受信した情報に対応する照明光源１３についての色成分のベクトルまたは正規化ベクトルを受信装置２へ送信すればよい。なお、照明光源１３についての色成分のベクトルまたは正規化ベクトルは、照明光源１３から発する光の色を表す情報の一例である。これにより、受信装置２が照明光源１３から発する光の色を知らなくても、受信装置２は、画像上で情報が復号された領域の色と照明光源１３から発する光の色の類似度をもとめることができる。
なお、照明光源１３についての色成分のベクトルまたは正規化ベクトルの各要素の値として用いられる、照明光源１３から発した光の色成分ごとの振幅または強度は、例えば、発光パターンの一周期における色成分ごとの振幅または強度とすることができる。
判別部２６４は、伝送された情報が復号された一連の領域が二つある場合、類似度が高い方の一連の領域に照明光源１３が写っていると判定し、類似度が低い方の一連の領域に反射物体５が写っていると判定する。
一方、伝送された情報が復号された一連の領域が一つである場合、判別部２６４は、類似度を所定の閾値と比較する。そして類似度が所定の閾値よりも高い場合、判別部２６４は、一連の領域に照明光源１３が写っていると判定し、一方、類似度が所定の閾値以下である場合、判別部２６４は、一連の領域に反射物体５が写っていると判定する。なお、類似度が所定の閾値と等しい場合には、判別部２６４は、一連の領域に照明光源１３が写っていると判定してもよい。また、所定の閾値はメモリ２２に予め記憶される。これにより、判別部２６４は、伝送された情報が復号された一連の領域に、照明光源１３と反射物体５の何れが写っているかを判別できる。
なお、反射物体５が、白またはグレーのように、色ごとの反射率が略等しい分光反射特性を有していることがある。このような場合、照明光源１３から発した光を直接受光した場合のその受光した光の色と、照明光源１３から発して反射物体５により反射された光を受光した場合のその受光した光の色はほぼ同じとなる。
そこで反射物体５が、色ごとの反射率が略等しい分光反射特性を有していることが受信装置２において既知の場合には、判別部２６４は、伝送された情報が復号された一連の領域ごとに、その一連の領域に含まれる各画素の輝度の平均値を算出する。その際、判別部２６４は、例えば、一連の領域内の各画素の値を、RGB表色系からYUV表色系へ変換して、画素ごとに輝度値をもとめればよい。そして伝送された情報が復号された一連の領域が二つある場合、輝度の平均値が高い方の一連の領域に照明光源１３が写っていると判定し、輝度の平均値が低い方の一連の領域に反射物体５が写っていると判定する。
一方、伝送された情報が復号された一連の領域が一つである場合、判別部２６４は、輝度の平均値を所定の輝度閾値と比較する。そして輝度の平均値が所定の輝度閾値よりも高い場合、判別部２６４は、一連の領域に照明光源１３が写っていると判定する。一方、輝度の平均値が所定の輝度閾値以下である場合、判別部２６４は、一連の領域に反射物体５が写っていると判定する。なお、輝度の平均値が所定の輝度閾値と等しい場合には、判別部２６４は、一連の領域に照明光源１３が写っていると判定してもよい。また、所定の輝度閾値はメモリ２２に予め記憶される。
なお、判別部２６４は、伝送された情報が復号された一連の領域ごとに、輝度の平均値の代わりに、色成分ごとの振幅の平均値を算出してもよい。そして判別部２６４は、伝送された情報が復号された一連の領域が二つある場合、色成分ごとの振幅の平均値が高い方の一連の領域に照明光源１３が写っていると判定すればよい。一方、判別部２６４は、色成分ごとの振幅の平均値が低い方の一連の領域に反射物体５が写っていると判定すればよい。また、伝送された情報が復号された一連の領域が一つである場合、判別部２６４は、色成分ごとの振幅の平均値が所定の振幅閾値よりも高い場合、一連の領域に照明光源１３が写っていると判定すればよい。一方、色成分ごとの振幅の平均値が所定の振幅閾値以下である場合、判別部２６４は、一連の領域に反射物体５が写っていると判定すればよい。
あるいはまた、判別部２６４は、伝送された情報が復号された一連の領域ごとに、その一連の領域の色と、送信装置１の照明光源１３から発した光の色との類似度と、色成分ごとの振幅の平均値または輝度の平均値との重み付け和を指標値として算出してもよい。なお、例えば、類似度に対する重み係数が、色成分ごとの振幅の平均値または輝度の平均値に対する重み係数よりも大きくなるように各重み係数が設定されることが好ましい。これにより、判別部２６４は、指標値において、反射物体５の分光反射特性の寄与を高くすることができる。
そして判別部２６４は、伝送された情報が復号された一連の領域が二つある場合、指標値が高い方の一連の領域に照明光源１３が写っていると判定すればよい。一方、判別部２６４は、指標値が低い方の一連の領域に反射物体５が写っていると判定すればよい。また、伝送された情報が復号された一連の領域が一つである場合、判別部２６４は、指標値が所定の指標閾値よりも高い場合、一連の領域に照明光源１３が写っていると判定すればよい。一方、指標値が所定の指標閾値以下である場合、判別部２６４は、一連の領域に反射物体５が写っていると判定すればよい。この場合も、なお、指標値が所定の指標閾値と等しい場合には、判別部２６４は、一連の領域に照明光源１３が写っていると判定してもよい。このような指標値を用いることで、判別部２６４は、反射物体５の分光反射特性が未知であり、かつ、その分光反射特性が色ごとの反射率が略等しいものである可能性を有する場合でも、照明光源１３と反射物体５の何れが写っているかを正確に判別できる。
判別部２６４は、伝送された情報が復号された一連の領域ごとに、その一連の領域に照明光源１３及び反射物体５の何れが写っているかの判別結果を合成部２６５に通知する。
合成部２６５は、復号された反射物体５の識別情報を、通信インターフェース２１及び通信ネットワーク４を介してサーバ３へ送信する。そして合成部２６５は、反射物体５の識別情報についての関連情報、例えば、反射物体５の特徴を説明するテキストあるいはピクチャを、サーバ３から通信ネットワーク４及び通信インターフェース２１を介して受信する。
合成部２６５は、カメラ２４により画像が得られる度に、その画像において、反射物体５が写っている領域と所定の位置関係となる位置に受信した関連情報を重畳することで合成画像を生成する。このような合成画像により、反射物体５の関連情報が反射物体５を説明するものであることが明確化できる。なお、所定の位置関係は、例えば、反射物体５が写っている領域と関連情報とが重なる位置関係、あるいは、その領域と関連情報とが隣接する位置関係とすることができる。また、反射物体５と受信装置２の相対的な位置関係が変化する可能性があることがある。このような場合には、合成部２６５は、反射物体５が写っていると判定された一連の領域を含む複数の画像と、最新の画像との間でトラッキング処理を実行することで、最新の画像において反射物体５が写っている領域を特定すればよい。
合成部２６５は、合成画像を生成する度に、合成画像をユーザインターフェース２５の表示装置に表示させる。
なお、反射物体５が写っている領域が無い場合には、合成部２６５は、合成画像を生成しなくてもよい。そして合成部２６５は、カメラ２４から受信した画像そのものをユーザインターフェース２５の表示装置に表示させてもよい。
図８は、ユーザインターフェース２５に表示される合成画像の一例を示す図である。合成画像８００には、送信装置１の照明光源１３と、反射物体５の両方が写っている。しかし、上記の処理により、反射物体５が写っている領域が特定される。そのため、合成画像８００では、反射物体５に関連する情報８０１は、反射物体５と対応付けて表示される。
図９は、受信装置２により実行される、受信処理を含む判別処理の動作フローチャートである。なお、受信処理は、ステップＳ１０１〜Ｓ１０４を含む。
プロセッサ２６の分割部２６１は、各画像を複数の領域に分割する（ステップＳ１０１）。そしてプロセッサ２６の特徴抽出部２６２は、領域ごとに発光パターンで変化する光の特性を表す特徴量を抽出する（ステップＳ１０２）。
復号部２６３は、一つのシンボルに相当する期間に含まれる複数の画像の組を含む期間ごとに、同じ物体が写っている一連の領域ごとに、その一連の領域における発光パターンに関する特徴量を周波数解析する。これにより、復号部２６３は、発光パターンの周期に相当するスペクトルを検出する（ステップＳ１０３）。そして復号部２６３は、その期間ごとに、検出したスペクトルから発光パターンに対応するシンボルの値を特定して、伝送された情報を復号するとともに、情報が復号された一連の領域を特定する（ステップＳ１０４）。
判別部２６４は、伝送された情報が復号された一連の領域ごとに、その一連の領域の色と送信装置１の照明光源１３が発する光の色の類似度を算出する（ステップＳ１０５）。そして判別部２６４は、伝送された情報が復号された一連の領域ごとに、類似度に基づいて、その一連の領域に、照明光源１３と反射物体５のうちの何れが写っているか判別する（ステップＳ１０６）。なお、上記のように、判別部２６４は、類似度の代わりに、輝度の平均値または指標値を用いてもよい。
合成部２６５は、反射物体５が写っていると判定された一連の領域に対応する、カメラ２４から受け取った最新の画像上の領域と所定の位置関係となる位置に、復号された情報と関連する情報を重畳して合成画像を生成する（ステップＳ１０７）。そして合成部２６５は、合成画像をユーザインターフェース２５の表示装置に表示させる（ステップＳ１０８）。そしてプロセッサ２６は、受信処理を終了する。
以上に説明してきたように、この通信システムにおける受信装置は、伝送された情報が復号された、複数の画像にわたる一連の領域ごとの色または輝度を、一連の領域同士で比較し、あるいは、閾値と比較する。これにより、この受信装置は、伝送された情報が復号された一連の領域に、送信装置の照明光源及び反射物体の何れが写っているかを判別できる。
なお、変形例によれば、受信装置２のカメラ２４は、例えば、広角カメラ、全方位カメラあるいは全天球カメラであってもよい。また、カメラ２４により一度に撮影可能な範囲内に、複数の反射物体が存在してもよい。そして複数の反射物体のそれぞれごとに、その反射物体の識別情報が重畳された光を発する照明光源が設けられてもよい。
この場合、受信装置２のプロセッサ２６は、カメラ２４により得られる、時系列に並んだ複数の画像に対して上記の処理を行うことで、反射物体ごとに、その反射物体が写った領域を特定できる。その際、プロセッサ２６は、同じ識別番号が復号された二つの一連の領域の組ごとに、判別部２６４の処理を行って、その組に含まれる一連の領域の何れに反射物体５（または照明光源１３）が写っているかを判定すればよい。また、同一の識別番号が復号された一連の領域が一つである場合、プロセッサ２６は、その一連の領域に対して判別部２６４の処理を行って、その一連の領域に反射物体５と照明光源１３の何れが写っているかを判別すればよい。
さらに、プロセッサ２６は、識別番号が復号された後に画像が得られる度に、得られた画像に対して合成部２６５の処理を実行してもよい。そしてプロセッサ２６は、反射物体ごとに、その反射物体が写っている領域と所定の位置関係となる位置に、その反射物体に関連する情報を重畳することで、合成画像を生成すればよい。
なお、この変形例は、動画像配信システムに適用できる。図１０は、この変形例による動画像配信システムの概略構成図である。図１０に示される動画像配信システム２００は、図１に示される通信システム１００と比較して、通信ネットワーク４を介して受信装置２と通信可能なクライアント端末６をさらに有する点で相違する。
この変形例では、受信装置２は、例えば、配信サーバとして動作する。この場合、カメラ２４による撮影順、すなわち、再生順に並んだ複数の画像は、動画像コンテンツを形成する。受信装置２（配信サーバ）のプロセッサ２６は、各反射物体の識別情報の復号後にカメラ２４から画像が得られる度に、反射物体ごとに、画像上でその反射物体に関連する情報を表示する位置を反射物体が写っている領域に対して所定の位置関係となるように設定する。そしてプロセッサ２６は、動画像コンテンツに含まれる各画像とともに、各画像における、反射物体ごとの関連情報及びその関連情報を表示する位置をクライアント端末６へ配信する。視聴者がクライアント端末６にて動画像コンテンツを再生する場合、クライアント端末６のプロセッサ（図示せず）は、画像全体のうち、クライアント端末６の表示装置（図示せず）に表示された表示領域の中心に最も近い反射物体を特定する。そしてクライアント端末６のプロセッサは、特定された反射物体の関連情報を画像上の設定された位置に重畳して合成画像を生成し、その合成画像をクライアント端末６の表示装置に表示すればよい。
図１１は、この変形例による、カメラ２４により得られる画像とクライアント端末６の表示装置の表示画面に表示される領域との関係の一例を示す図である。この例では、画像１１００に、３個の反射物体１１０１〜１１０３が写っている。そして画像１１００のうち、領域１１１０がクライアント端末６の表示画面に表示される領域である。この場合、反射物体１１０１〜１１０３のうち、反射物体１１０２が、領域１１１０の中心Oに最も近い。そのため、反射物体１１０２の関連情報１１３０が表示される。また、画像１１００に、反射物体１１０２を照明する照明光源１１２０が写っていても、上記のように、反射物体１１０２が写っている領域が特定される。そのため、反射物体１１０２の関連情報１１３０は、照明光源１１２０ではなく、反射物体１１０２と対応付けて表示される。
また、視聴者がクライアント端末６を操作して、クライアント端末６の表示画面に表示されている画像に対してコメントを付したり、タグを編集してもよい。この場合には、付されたコメントあるいは編集されたタグは、関連情報が表示されている反射物体の識別情報と関連付けてクライアント端末６のメモリ（図示せず）に保存されればよい。
上記の実施形態または変形例において、サーバ３が受信装置２のプロセッサ２６の各部の処理を実行してもよい。この場合には、受信装置２は、カメラ２４が画像を生成する度に、その画像を通信インターフェース２１及び通信ネットワーク４を介してサーバ３へ送信すればよい。そしてサーバ３のプロセッサ（図示せず）が、上記の実施形態または変形例による、受信装置２のプロセッサ２６の各部の処理を実行することで、画像上で反射物体５または送信装置１の照明光源１３が写っている領域を判別すればよい。この場合には、サーバ３が配信サーバとして動作してもよい。
さらに、上記の実施形態による通信システム１００は、受信装置２の位置を検出するための位置検出システムに利用されてもよい。この場合、例えば、送信装置１は、複数の照明光源１３を有し、各照明光源１３は、例えば、通信システム１００が設けられる部屋の天井の互いに異なる位置に配置される。そして送信装置１は、照明光源１３ごとに、その照明光源１３から発する光に互いに異なる識別情報を重畳する。
受信装置２のカメラ２４は、例えば、魚眼カメラであり、通信システム１００が設けられる部屋の天井へ向くように設けられる。そしてカメラ２４は、複数の照明光源１３のうちの二つ以上が写った画像を所定の撮影レートで生成する。
受信装置２のプロセッサ２６は、カメラ２４により得られる、時系列に並んだ複数の画像に対して上記の処理を行うことで、照明光源１３ごとに、各画像上でその照明光源１３が写った領域を特定できる。その際、プロセッサ２６は、同じ識別番号が復号された二つの一連の領域の組ごとに、判別部２６４の処理を行って、その組に含まれる一連の領域の何れに照明光源が写っているかを判定すればよい。また、同一の識別番号が復号された一連の領域が一つである場合、プロセッサ２６は、その一連の領域に対して判別部２６４の処理を行って、その一連の領域に反射物体と照明光源の何れが写っているかを判別すればよい。これにより、例えば、何れかの照明光源１３から発した光が壁などで反射されることで、その照明光源１３の反射像がカメラ２４により撮影される場合でも、受信装置２は、画像上で各照明光源１３が写っている領域を正確に特定できる。そして受信装置２のプロセッサ２６は、画像上での少なくとも二つの照明光源１３のそれぞれの重心位置に基づいて、例えば、非線形最小二乗法を適用することで、受信装置２の位置を検出できる。なお、画像上での少なくとも二つの照明光源のそれぞれの重心位置から受信装置２の位置を検出する処理の詳細については、例えば、水口他、「可視光通信と高精細魚眼カメラを用いた屋内位置推定方式」、2010年電子情報通信学会総合大会通信講演論文集２、P.633を参照されたい。
さらに、上記の各実施形態による受信装置のプロセッサが有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
１００ 通信システム
２００ 動画像配信システム
１ 送信装置
１１ 通信インターフェース
１２ メモリ
１３ 照明光源
１４ プロセッサ
２ 受信装置（判別装置）
２１ 通信インターフェース
２２ メモリ
２３ 記憶媒体アクセス装置
２４ カメラ
２５ ユーザインターフェース
２６ プロセッサ
２７ 記憶媒体
２６１ 分割部
２６２ 特徴抽出部
２６３ 復号部
２６４ 判別部
２６５ 合成部
３ サーバ
４ 通信ネットワーク
５ 反射物体
６ クライアント端末

Claims (12)

  1. 撮像部により生成された、光源から発し、かつ伝送される情報が重畳された光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像上で、前記伝送される情報が復号された領域を特定し、
    前記領域の色と前記光源から発した前記光の色との類似度に基づいて、前記領域に、前記光源または前記光源からの光を反射する物体の何れが写っているかを判別する、
    ことをコンピュータに実行させるための判別用コンピュータプログラム。
  2. 前記判別することは、前記画像上に前記領域が二つ存在する場合、二つの前記領域のそれぞれについて前記類似度を算出し、二つの前記領域のうちの前記類似度が高い方の領域に前記光源が写っていると判別する、請求項１に記載の判別用コンピュータプログラム。
  3. 前記判別することは、前記画像上に前記領域が一つ存在する場合、前記類似度が所定の閾値よりも高い場合に前記領域に前記光源が写っていると判別する、請求項１に記載の判別用コンピュータプログラム。
  4. 前記判別することは、前記画像上に前記領域が二つ存在する場合、二つの前記領域のそれぞれについて前記類似度と当該領域の輝度との重み付け和を算出し、二つの前記領域のうちの前記重み付け和が大きい方の領域に前記光源が写っていると判別する、請求項１に記載の判別用コンピュータプログラム。
  5. 前記判別することは、前記画像上に前記領域が一つ存在する場合、前記類似度と当該領域の輝度との重み付け和を算出し、前記重み付け和が所定の閾値よりも高い場合に前記領域に前記光源が写っていると判別する、請求項１に記載の判別用コンピュータプログラム。
  6. 前記判別することは、前記領域の色に含まれる色成分ごとの振幅または強度を表すベクトルを求め、前記ベクトルと、前記光源から発した前記光の色に含まれる色成分ごとの振幅または強度を表す基準ベクトルとのコサイン類似度を前記類似度として算出する、請求項１〜５の何れか一項に記載の判別用コンピュータプログラム。
  7. 復号された前記伝送された情報を通信インターフェースを介して他の機器へ送信し、復号された前記伝送された情報に対応する、前記光源から発した前記光の色を表す情報を、前記通信インターフェースを介して前記他の機器から受信することをコンピュータにさらに実行させる、請求項１〜６の何れか一項に記載の判別用コンピュータプログラム。
  8. 前記領域に前記物体が写っている場合において、前記伝送された情報が復号された前記領域を含む前記画像よりも後に前記撮像部により生成された第２の画像において前記物体と同じ物体が写っている第２の領域を特定し、前記第２の画像上の前記第２の領域と所定の位置関係となる位置に前記物体に関連する情報を重畳することで合成画像を生成し、前記合成画像を表示装置に表示させることをさらにコンピュータに実行させる、請求項１〜７の何れか一項に記載の判別用コンピュータプログラム。
  9. 前記画像上で、第２の光源から発した光に重畳された第２の情報が復号された第２の領域を特定し、
    前記第２の領域の色と前記第２の光源から発した前記光の色との類似度に基づいて、前記第２の領域に、前記第２の光源または前記第２の光源からの光を反射する第２の物体の何れが写っているかを判別し、
    前記領域に前記物体が写っており、かつ、前記第２の領域に前記第２の物体が写っている場合において、前記画像よりも後に前記撮像部により生成された第２の画像において前記物体と同じ物体が写っている第３の領域と、前記第２の物体と同じ物体が写っている第４の領域とを特定し、
    表示装置に表示される前記第２の画像上の表示領域内に前記第３の領域と前記第４の領域とが含まれる場合に、前記第３の領域と前記第４の領域のうちの前記表示領域の中心に近い方の領域と所定の位置関係となる位置に、前記物体と前記第２の物体のうちの当該領域に写っている方の物体に関連する情報を重畳することで合成画像を生成し、前記合成画像を前記表示装置に表示させることをさらにコンピュータに実行させる、請求項１〜７の何れか一項に記載の判別用コンピュータプログラム。
  10. 送信装置と受信装置とを有する通信システムであって、
    前記送信装置は、
    光を発する光源と、
    伝送される情報を前記光源から発する光に重畳するよう前記光源を制御する制御部と、
    を有し、
    前記受信装置は、
    前記光源から発し、かつ伝送される情報が重畳された光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、
    前記画像上で、前記伝送される情報が復号された領域を特定する復号部と、
    前記領域の色と前記光源から発した前記光の色との類似度に基づいて、前記領域に、前記光源または前記光源からの光を反射する物体の何れが写っているかを判別する判別部と、
    を有する通信システム。
  11. 光源から発し、かつ伝送される情報が重畳された光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成し、
    前記画像上で、前記伝送される情報が復号された領域を特定し、
    前記領域の色と前記光源から発した前記光の色との類似度に基づいて、前記領域に、前記光源または前記光源からの光を反射する物体の何れが写っているかを判別する、
    ことを含む判別方法。
  12. 光源から発し、かつ伝送される情報が重畳された光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、
    前記画像上で、前記伝送される情報が復号された領域を特定する復号部と、
    前記領域の色と前記光源から発した前記光の色との類似度に基づいて、前記領域に、前記光源または前記光源からの光を反射する物体の何れが写っているかを判別する判別部と、
    を有する判別装置。
JP2017143710A 2017-07-25 2017-07-25 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム Active JP6897389B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017143710A JP6897389B2 (ja) 2017-07-25 2017-07-25 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム
EP18184152.9A EP3435557B1 (en) 2017-07-25 2018-07-18 Discrimination method and communication system
US16/041,038 US10523365B2 (en) 2017-07-25 2018-07-20 Discrimination method and communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017143710A JP6897389B2 (ja) 2017-07-25 2017-07-25 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム

Publications (2)

Publication Number Publication Date
JP2019029695A true JP2019029695A (ja) 2019-02-21
JP6897389B2 JP6897389B2 (ja) 2021-06-30

Family

ID=63113337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017143710A Active JP6897389B2 (ja) 2017-07-25 2017-07-25 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム

Country Status (3)

Country Link
US (1) US10523365B2 (ja)
EP (1) EP3435557B1 (ja)
JP (1) JP6897389B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2021044B1 (en) * 2018-06-01 2019-12-10 Eldolab Holding Bv LED driver and method of operating a camera
US11374683B1 (en) * 2018-12-04 2022-06-28 Marvell Asia Pte Ltd Physical layer preamble for wireless local area networks
JP7052775B2 (ja) * 2019-06-21 2022-04-12 カシオ計算機株式会社 位置取得装置、位置取得方法及びプログラム
US11418281B2 (en) * 2021-02-19 2022-08-16 Ultralogic 6G, Llc Error correction by merging copies of 5G/6G messages

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051553A1 (en) * 2011-08-24 2013-02-28 Jeffrey Thomas CESNIK Method and Apparatus for Transmitting, Receiving and Decoding Data Using Encoded Patterns of Changing Colors
JP2014534568A (ja) * 2011-10-14 2014-12-18 コーニンクレッカ フィリップス エヌ ヴェ 符号化光検出器
CN105162520A (zh) * 2015-10-21 2015-12-16 北京联海科技有限公司 基于可见光照明的自动识别方法和信息服务***
WO2016060518A1 (en) * 2014-10-17 2016-04-21 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving visible light data
JP2016063347A (ja) * 2014-09-17 2016-04-25 富士通株式会社 信号伝送装置、信号伝送方法および信号伝送プログラム
JP2016082425A (ja) * 2014-10-17 2016-05-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 可視光送信装置、可視光受信装置、可視光通信システム、可視光通信方法及びプログラム
JP2017103602A (ja) * 2015-12-01 2017-06-08 キヤノン株式会社 位置検出装置、位置検出方法及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3884321B2 (ja) * 2001-06-26 2007-02-21 オリンパス株式会社 ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
EP1884798B1 (en) * 2006-08-03 2012-01-18 Casio Computer Co., Ltd. Method for measuring distance to object
JP2009017354A (ja) * 2007-07-06 2009-01-22 Olympus Corp 映像信号処理装置、映像表示システム、及び映像表示処理方法
JP2010191402A (ja) * 2009-01-26 2010-09-02 Toshiba Corp プロジェクタ装置及び映像表示方法ならびに携帯電話装置
JP2012055582A (ja) 2010-09-10 2012-03-22 Tamura Seisakusho Co Ltd 視覚障害者支援システム及びそのシステムに使用する杖
JP5488583B2 (ja) * 2011-12-27 2014-05-14 カシオ計算機株式会社 情報提供システム、サーバ、情報提供方法、及び、プログラム
US10303945B2 (en) * 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US10530486B2 (en) * 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
JP6446766B2 (ja) 2013-07-08 2019-01-09 株式会社リコー プログラム、表示制御装置、記録媒体及び表示制御システム
WO2015075937A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
JP5701967B2 (ja) 2013-12-16 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
JP6388030B2 (ja) * 2014-06-30 2018-09-12 富士通株式会社 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法
JP6455518B2 (ja) * 2014-09-22 2019-01-23 富士通株式会社 再生装置、再生方法、プログラム、及び、システム
JP6620426B2 (ja) * 2015-05-28 2019-12-18 富士通株式会社 情報検出装置、情報検出システム、情報検出プログラム、及び情報検出方法
EP3376772B1 (en) * 2015-11-12 2023-01-25 Panasonic Intellectual Property Corporation of America Display method, program and display device
EP3393132B1 (en) * 2015-12-17 2022-11-02 Panasonic Intellectual Property Corporation of America Display method and display device
EP3196633B1 (en) * 2016-01-20 2021-11-17 Canon Kabushiki Kaisha Apparatus and method for measuring a reflection characteristic of an object
CN107534486B (zh) * 2016-02-25 2021-04-30 松下电器（美国）知识产权公司 信号解码方法、信号解码装置以及记录介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051553A1 (en) * 2011-08-24 2013-02-28 Jeffrey Thomas CESNIK Method and Apparatus for Transmitting, Receiving and Decoding Data Using Encoded Patterns of Changing Colors
JP2014534568A (ja) * 2011-10-14 2014-12-18 コーニンクレッカ フィリップス エヌ ヴェ 符号化光検出器
JP2016063347A (ja) * 2014-09-17 2016-04-25 富士通株式会社 信号伝送装置、信号伝送方法および信号伝送プログラム
WO2016060518A1 (en) * 2014-10-17 2016-04-21 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving visible light data
JP2016082425A (ja) * 2014-10-17 2016-05-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 可視光送信装置、可視光受信装置、可視光通信システム、可視光通信方法及びプログラム
CN105162520A (zh) * 2015-10-21 2015-12-16 北京联海科技有限公司 基于可见光照明的自动识别方法和信息服务***
JP2017103602A (ja) * 2015-12-01 2017-06-08 キヤノン株式会社 位置検出装置、位置検出方法及びプログラム

Also Published As

Publication number Publication date
EP3435557A1 (en) 2019-01-30
US10523365B2 (en) 2019-12-31
US20190036646A1 (en) 2019-01-31
JP6897389B2 (ja) 2021-06-30
EP3435557B1 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
US10523365B2 (en) Discrimination method and communication system
JP5936902B2 (ja) 伝送システム、送信装置および受信装置
US9918013B2 (en) Method and apparatus for switching between cameras in a mobile device to receive a light signal
US10236979B2 (en) Transmitter, receiver, communication system, and transmission and reception methods
US8453934B2 (en) Light emitting device and method for tracking object
WO2018041136A1 (zh) 光通信装置和***以及相应的信息传输和接收方法
CN103383446B (zh) 基于可见光的室内定位方法、装置和***以及光源
CN102165849B (zh) 用于多个光源的自动调试的***和方法
CA2892923C (en) Self-identifying one-way authentication method using optical signals
CN107222258B (zh) 一种数据获取方法、数据发送方法、装置及数据传输***
US11328136B2 (en) Optical communication device and method for transmitting and receiving information
US9749046B2 (en) Signal transmission device, signal transmission method, signal reception device, and communication system
JP2018050116A (ja) 光通信装置、光通信方法、及び、プログラム
JP2016082425A (ja) 可視光送信装置、可視光受信装置、可視光通信システム、可視光通信方法及びプログラム
CN105230002B (zh) 用于检测编码光的设备和相关的计算机可读存储介质
JP2011009803A (ja) 光無線通信装置、光無線通信携帯端末、送信装置、光無線通信方法、およびプログラム
US10951312B2 (en) Transmitting device, transmission control device, and transmission method
JP2018107824A (ja) 受信装置及び受信方法
WO2018073870A1 (ja) 送信装置、受信装置、通信システム、送信方法、受信方法および送信用コンピュータプログラムならびに受信用コンピュータプログラム
CN105701475A (zh) 基于光载波标记的现实增强方法、装置和***
CN111656766A (zh) 用于基于图像的服务的设备
JP2021072591A (ja) 情報取得装置、情報取得方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210524

R150 Certificate of patent or registration of utility model

Ref document number: 6897389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150