JP2012244601A - 情報取得装置、情報出力装置、情報通信システム、情報取得方法、情報出力方法、制御プログラムおよび記録媒体 - Google Patents

Abstract

【課題】動画または静止画を表示している表示装置から視聴者に感知されにくい情報をリアルタイムで確実に通信する。
【解決手段】動画または静止画を表示している表示画面をカメラ１３により撮像した画像を順次取得する画像取得部２１と、画像取得部２１が取得した画像から代表輝度値を特定する代表輝度値特定部２２と、変換情報には、通信情報と、所定期間における輝度変化とが１または複数組対応付けられており、順次取得した複数の画像から、それぞれ代表輝度値特定部２２が特定した複数の代表輝度値によって特定される輝度変化に一致する輝度変化を、上記変換情報から検出するビット列検出部２４と、上記変換情報から、ビット列検出部２４が検出した輝度変化に対応付けられている通信情報を特定する位置特定部２５とを備える。
【選択図】図１

Description

本発明は、人に感知されにくい信号を用いて情報を通信する情報取得装置、情報出力装置、情報通信システム、情報取得方法、情報出力方法、制御プログラムおよび記録媒体に関するものである。

テレビ等の表示装置に表示されている電子透かしが埋め込まれた動画像をカメラで撮像し、表示装置から視聴者に知覚されない情報を取得する技術が開発されている。

例えば、特許文献１には、テレビなどの動画像をカメラで撮像し、撮像した動画からリアルタイムに電子透かし検出を行う方法が記載されている。また、特許文献１には、キャプチャしたフレーム画像中のどの部分から電子透かしの検出を行えばよいかを特定して、様々な撮影角度や背景画像の条件下でも確実に電子透かし検出を行う方法が記載されている。

国際公開第２００７−０１５４５２号（２００７年２月８日公開）

しかしながら、上述のような従来技術は、動画像を表示している表示装置から視聴者に感知されにくい情報をリアルタイムで確実に取得できる条件に制約があるという問題がある。

具体的には、まず、キャプチャしたフレーム画像中にテレビの表示画面全体が含まれている必要がある。換言すると、従来技術では、テレビの表示画面の一部を撮影した場合、埋め込まれた電子透かし全てを検出することができず、正確な情報を取得することができない。

また、フレーム画像中にテレビの表示画面全体が含まれている場合であっても、テレビの表示画面が歪んでいる場合、その歪みを補正する必要がある。そのため、補正を実行するための処理時間が必要となる。よって、テレビを斜めから撮影した場合などは、リアルタイムで電子透かしを検出することができず、遅延が発生する場合がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、動画像または静止画を表示している表示装置から視聴者に感知されにくい情報をリアルタイムで確実に通信できる情報取得装置、情報出力装置、情報通信システム、情報取得方法、情報出力方法、制御プログラムおよび記録媒体を実現することにある。

本発明に係る情報取得装置は、上記課題を解決するために、動画または静止画を表示している表示画面をカメラにより撮像した画像を順次取得する画像取得手段と、上記画像取得手段が取得した画像から、代表輝度値を特定する代表輝度値特定手段と、変換情報には、通信情報と、所定期間における輝度変化とが１または複数組対応付けられており、上記順次取得した複数の画像から、それぞれ上記代表輝度値特定手段が特定した複数の代表輝度値によって特定される輝度変化に一致する輝度変化を、上記変換情報から検出する輝度変化検出手段と、上記変換情報から、上記輝度変化検出手段が検出した輝度変化に対応付けられている通信情報を特定する通信情報特定手段とを備えることを特徴としている。

本発明に係る情報取得方法は、上記課題を解決するために、動画または静止画を表示している表示画面をカメラにより撮像した画像を順次取得する画像取得ステップと、上記画像取得ステップにおいて取得された画像から、代表輝度値を特定する代表輝度値特定ステップと、変換情報には、通信情報と、所定期間における輝度変化とが１または複数組対応付けられており、上記順次取得された複数の画像から、それぞれ上記代表輝度値特定ステップにおいて特定された複数の代表輝度値によって特定される輝度変化に一致する輝度変化を、上記変換情報から検出する輝度変化検出ステップと、上記変換情報から、上記輝度変化検出ステップにおいて検出された輝度変化に対応付けられている通信情報を特定する通信情報特定ステップとを含むことを特徴としている。

上記の構成によれば、上記代表輝度値特定手段は、動画または静止画を表示している表示画面が撮像された画像に含まれる各画素の輝度値から、代表輝度値を特定し、上記輝度変化検出手段は、カメラから順次取得した複数の画像から、それぞれ上記代表輝度値特定手段が特定した複数の代表輝度値によって特定される輝度変化に一致する輝度変化を、上記変換情報から検出し、上記通信情報特定手段は、上記変換情報から、上記輝度変化検出手段が検出した輝度変化に対応付けられている通信情報を特定する。

そのため、動画または静止画を表示している表示画面が撮像された画像の輝度変化に基づいて、通信情報を取得することができるという効果を奏する。

ここで、上記表示画面を備える表示装置は、表示画面全体の輝度値を変化させて通信情報を送信する。そのため、情報取得装置は、表示装置の表示画面の一部を撮像することによって、通信情報を取得することができる。また、表示画面を定点で撮影するのではなく、撮影範囲を動かして表示画面の全体または一部を撮影した場合であっても、画像取得手段が取得した画像の全体の輝度変化を捉えることにより、通信情報を検出することができる。

また、撮影範囲が動いた場合であっても、撮像した画像上における表示画面以外の部分（例えば、背景等）は、通常、急激に輝度が変化しない。さらに、表示装置が出力する動画または静止画の映像コンテンツの原画像は、連続したフレーム間では、急激に輝度変化が生じることは少ない。

そのため、例えば、表示装置がフレーム間隔（１／６０秒）と同程度かそれ以下の時間間隔で輝度を変化させて通信情報を出力する場合、情報取得装置は、所定の輝度変化を検出すると、その輝度変化は表示装置から送信された通信情報に対応する輝度変化であると判断することができる。よって、撮影範囲が動いたとしても、撮像した画像に少なくとも表示画面の一部が含まれていれば、情報取得装置は高精度に通信情報を検出することができる。

また、本発明に係る情報取得装置は、上記通信情報特定手段が特定した通信情報と、上記輝度変化検出手段が当該通信情報に対応する輝度変化を検出した領域を示す領域情報とを対応付けて取得する位置情報生成手段をさらに備えることが好ましい。

上記の構成によれば、上記位置情報生成手段は、上記通信情報特定手段が特定した通信情報と、上記輝度変化検出手段が当該通信情報に対応する輝度変化を検出した領域を示す領域情報とを対応付けて取得する。そのため、上記位置情報生成手段は、通信情報が検出された画像上の位置を特定することができる。

また、本発明に係る情報取得装置は、上記表示画面を備える表示装置に対して、当該表示装置に対応付けられた通信情報を送信する送信手段をさらに備え、上記位置情報生成手段は、上記送信手段が送信し、上記通信情報特定手段が特定した通信情報に対応する領域情報に、上記表示装置を示す装置情報を対応付けて、装置位置情報を生成することが好ましい。

上記の構成によれば、上記輝度変化検出手段は、上記変換情報において上記送信手段が送信した通信情報に対応する輝度変化を検出する。つまり、上記輝度変化検出手段は、上記変換情報において上記表示装置に対応付けられた通信情報に対応する輝度変化を検出する。そして、上記通信情報特定手段が上記表示装置に対応付けられた通信情報を特定し、上記位置情報生成手段は、上記通信情報特定手段が特定した通信情報に対応付けられた領域情報に、上記表示装置を示す装置情報を対応付けて、装置位置情報を生成する。

ここで、上記通信情報特定手段が上記表示装置に対応付けられた通信情報を特定した場合、上記輝度変化検出手段が検出した輝度変化は、上記表示装置が出力した光の輝度変化であると考えられる。すなわち、上記輝度変化検出手段が上記通信情報に対応付けられた輝度変化を検出した領域に表示装置が撮像されたと考えられる。そのため、上記送信手段が通信情報を送信した送信先の表示装置の画像上の位置を推定することができる。

また、本発明に係る情報取得装置は、上記表示画面を備える表示装置から、当該表示装置に対応付けられた通信情報を受信する受信手段をさらに備え、上記位置情報生成手段は、上記受信手段が受信し、上記通信情報特定手段が特定した通信情報に対応する領域情報に、上記表示装置を示す装置情報を対応付けて、装置位置情報を生成することが好ましい。

上記の構成によれば、上記輝度変化検出手段は、上記変換情報において上記受信手段が受信した通信情報に対応する輝度変化を検出する。つまり、上記輝度変化検出手段は、上記変換情報において上記表示装置に対応付けられた通信情報に対応する輝度変化を検出する。そして、上記通信情報特定手段が上記表示装置に対応付けられた通信情報を特定し、上記位置情報生成手段は、上記通信情報特定手段が特定した通信情報に対応付けられた領域情報に、上記表示装置を示す装置情報を対応付けて、装置位置情報を生成する。

ここで、上記通信情報特定手段が上記表示装置に対応付けられた通信情報を特定した場合、上記輝度変化検出手段が検出した輝度変化は、上記表示装置が出力した光の輝度変化であると考えられる。すなわち、上記輝度変化検出手段が上記通信情報に対応付けられた輝度変化を検出した領域に表示装置が撮像されたと考えられる。そのため、上記受信手段が受信した通信情報の送信元の表示装置の画像上の位置を推定することができる。

また、本発明に係る情報取得装置は、上記代表輝度値特定手段は、上記画像取得手段が取得した画像を複数の領域に分割し、分割して得られる領域毎に、当該領域に含まれる各画素の輝度値から、当該領域の代表輝度値を特定し、上記輝度変化検出手段は、上記順次取得した複数の画像の同一領域から、それぞれ上記代表輝度値特定手段が特定した複数の代表輝度値によって特定される輝度変化に一致する輝度変化を、上記変換情報から検出することが好ましい。

上記の構成によれば、上記代表輝度値特定手段は、上記画像取得手段が取得した画像を複数の領域に分割し、分割して得られる領域毎に、当該領域に含まれる各画素の輝度値から、当該領域の代表輝度値を特定し、上記輝度変化検出手段は、上記順次取得した複数の画像の同一領域から、それぞれ上記代表輝度値特定手段が特定した複数の代表輝度値によって特定される輝度変化に一致する輝度変化を、上記変換情報から検出する。つまり、上記輝度変化検出手段は、分割して得られる領域単位で輝度変化を検出する。よって、上記位置情報生成手段は、分割して得られる領域単位で通信情報が検出された位置を特定することができる。

また、本発明に係る情報取得装置は、上記代表輝度値特定手段は、上記画像取得手段が順次取得した複数の画像から被写体の動きベクトルを検出し、動きベクトルによる補正後の画像に対して複数の領域に分割することが好ましい。

上記の構成によれば、上記代表輝度値特定手段は、上記画像取得手段が順次取得した複数の画像から被写体の動きベクトルを検出し、動きベクトルによる補正後の画像に対して複数の領域に分割する。そのため、撮像した複数の画像において、表示画面が領域を越えて移動したとしても、通信情報を高精度に検出することができる。

また、本発明に係る情報取得装置は、上記通信情報特定手段は、上記輝度変化検出手段が、画像上の所定の範囲内に含まれる複数の領域から同一の輝度変化を検出した場合に、当該輝度変化に対応付けられている通信情報を特定することが好ましい。

上記の構成によれば、上記通信情報特定手段は、上記輝度変化検出手段が、画像上の所定の範囲内に含まれる複数の領域から同一の輝度変化を検出した場合に、当該輝度変化に対応付けられている通信情報を特定する。そのため、上記画像取得手段が取得した複数の画像の一領域において、ノイズによる輝度変化が変換情報に含まれる輝度変化と一致した場合であっても、その輝度変化を通信情報によるものとして誤検出することを防ぐことができる。

また、本発明に係る情報取得装置は、表示部と、上記装置位置情報に含まれる領域情報の示す領域に対応する上記表示部の画面の表示位置に、当該領域情報に対応する装置情報の示す表示装置に関する表示装置関連情報を表示する表示制御手段とをさらに備えることが好ましい。

上記の構成によれば、上記表示制御手段は、上記装置位置情報に含まれる領域情報の示す領域に対応する上記表示部の画面の表示位置に、当該領域情報に対応する装置情報の示す表示装置に関する表示装置関連情報を表示する。そのため、上記表示制御手段は、推定した上記表示装置の画像上の位置に対応させて、当該表示装置に関する表示装置関連情報を表示することができる。カメラが撮像した画像上の上記表示装置の位置とユーザから見た当該表示装置の実際の位置とが対応していることが考えられるため、ユーザが表示部に表示された表示装置関連情報がどの表示装置に関するものであるかを直感的に理解することができる。

また、本発明に係る情報取得装置は、上記表示制御手段は、上記画像取得手段が取得した画像に重畳させて、上記表示装置関連情報を表示することが好ましい。

上記の構成によれば、上記表示制御手段は、上記画像取得手段が取得した画像に重畳させて、上記表示装置関連情報を表示する。そのため、上記表示制御手段は、推定した上記表示装置の画像上の位置に、当該表示装置に関する表示装置関連情報を表示することができる。よって、ユーザは、カメラが撮像した画像に写っている上記表示装置に関する表示装置関連情報が、どの表示装置に関するものであるかを直感的に理解することができる。

また、本発明に係る情報出力装置は、上記課題を解決するために、表示部を備え、当該表示部に動画または静止画を表示する情報出力装置であって、通信情報を、上記表示部が出力する輝度値の所定期間における輝度変化を示す輝度変化遷移情報に変換する情報変換手段と、上記情報変換手段が変換した輝度変化遷移情報の示す輝度変化に従って、所定期間、上記動画または静止画の輝度値を調整して上記表示部に表示する輝度値調整手段とを備えることを特徴としている。

また、本発明に係る情報出力方法は、上記課題を解決するために、表示部を備え、当該表示部に動画または静止画を表示する情報出力装置の情報出力方法であって、通信情報を、上記表示部が出力する輝度値の所定期間における輝度変化を示す輝度変化遷移情報に変換する情報変換ステップと、上記情報変換ステップにおいて変換された輝度変化遷移情報の示す輝度変化に従って、所定期間、上記動画または静止画の輝度値を調整して上記表示部に表示する輝度値調整ステップとを含むことを特徴としている。

上記の構成によれば、上記情報変換手段は、通信情報を、上記表示部が出力する輝度値の所定期間における輝度変化を示す輝度変化遷移情報に変換し、上記輝度値調整手段は、上記情報変換手段が変換した輝度変化遷移情報の示す輝度変化に従って、所定期間、上記動画または静止画の輝度値を調整して上記表示部に表示する。

そのため、通信情報を輝度変化として出力することができるという効果を奏する。

ここで、動画の１フレームは一般的に１／６０秒であり、例えば、輝度変化をフレーム単位で行う場合、人間は上記表示部の輝度変化を比較的感知しにくいと考えられる。よって、情報出力装置は、人間に感知されずに通信情報を出力することができる。さらに、人間が感知しにくいため、上記表示部に表示されている動画または静止画の品質を損なうことなく通信情報を出力することができる。

また、本発明に係る情報通信システムは、上記情報取得装置と、上記情報出力装置とを含むことを特徴としている。

上記の構成によれば、情報処理システムは、上記情報取得装置および上記情報出力装置と同様の効果を奏する。

なお、上記情報取得装置および上記情報出力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報取得装置および上記情報出力装置の各手段として動作させることにより、上記情報取得装置および上記情報出力装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明に係る情報取得装置は、動画または静止画を表示している表示画面をカメラにより撮像した画像を順次取得する画像取得手段と、上記画像取得手段が取得した画像から、代表輝度値を特定する代表輝度値特定手段と、変換情報には、通信情報と、所定期間における輝度変化とが１または複数組対応付けられており、上記順次取得した複数の画像から、それぞれ上記代表輝度値特定手段が特定した複数の代表輝度値によって特定される輝度変化に一致する輝度変化を、上記変換情報から検出する輝度変化検出手段と、上記変換情報から、上記輝度変化検出手段が検出した輝度変化に対応付けられている通信情報を特定する通信情報特定手段とを備えている構成である。

また、本発明に係る情報取得方法は、動画または静止画を表示している表示画面をカメラにより撮像した画像を順次取得する画像取得ステップと、上記画像取得ステップにおいて取得された画像から、代表輝度値を特定する代表輝度値特定ステップと、変換情報には、通信情報と、所定期間における輝度変化とが１または複数組対応付けられており、上記順次取得された複数の画像から、それぞれ上記代表輝度値特定ステップにおいて特定された複数の代表輝度値によって特定される輝度変化に一致する輝度変化を、上記変換情報から検出する輝度変化検出ステップと、上記変換情報から、上記輝度変化検出ステップにおいて検出された輝度変化に対応付けられている通信情報を特定する通信情報特定ステップとを含む。

従って、動画または静止画を表示している表示画面が撮像された画像の所定の領域の輝度変化に基づいて、通信情報を取得することができるという効果を奏する。

また、本発明に係る情報出力装置は、通信情報を、上記表示部が出力する輝度値の所定期間における輝度変化を示す輝度変化遷移情報に変換する情報変換手段と、上記情報変換手段が変換した輝度変化遷移情報の示す輝度変化に従って、所定期間、上記動画または静止画の輝度値を調整して上記表示部に表示する輝度値調整手段とを備えている構成である。

また、本発明に係る情報出力方法は、通信情報を、上記表示部が出力する輝度値の所定期間における輝度変化を示す輝度変化遷移情報に変換する情報変換ステップと、上記情報変換ステップにおいて変換された輝度変化遷移情報の示す輝度変化に従って、所定期間、上記動画または静止画の輝度値を調整して上記表示部に表示する輝度値調整ステップとを含む。

従って、通信情報を輝度変化として出力することができるという効果を奏する。

本発明の一実施形態を示すものであり、携帯電話機の要部構成の一例を示すブロック図である。 本発明で利用する光通信の概要を示す図である。 上記携帯電話機を含む情報通信システムの概要を示す図である。 画像分割の一例を示す図であり、（ａ）は画像を格子状に縦４×横５の２０個の領域に分割した例を示す図であり、（ｂ）は画像を格子状に縦１３×横１７の２２１個の領域に分割した例を示す図である。 上記情報通信システムに含まれるテレビが表示する映像コンテンツの原輝度値に加減する輝度値、上記携帯電話機に搭載されているカメラが撮像した画像、当該画像から特定した輝度代表値および当該輝度代表値から特定したビット値の関係を示す図である。 上記ビット値の一例を示す図である。 上記ビット値と上記テレビの出力輝度の輝度変化との対応関係を示すビット値変換テーブルの一例を示す図である。 上記テレビから上記携帯電話機へ伝送する通信情報と上記ビット値を並べたビット列との対応関係を示すビット列変換テーブルの一例を示す図である。 上記テレビの要部構成の一例を示すブロック図である。 上記テレビが上記通信情報を変換した出力輝度の輝度変化を示す輝度変化遷移情報の一例を示す図である。 一実施例における上記情報通信システムの概要を示す図である。 上記携帯電話機が輝度変化による光通信を用いて上記テレビの位置を特定する処理の一例を示す図である。 上記テレビが輝度変化による光通信を用いて通信情報を出力する処理の一例を示す図である。 他の実施例における上記情報通信システムの概要を示す図である。 上記携帯電話機が輝度変化による光通信を用いて上記テレビの位置を特定する処理の他の一例を示す図である。 上記テレビが輝度変化による光通信を用いて通信情報を出力する処理の他の一例を示す図である。 他の実施例における上記情報通信システムの概要を示す図である。 上記携帯電話機が輝度変化による光通信を用いて上記テレビの位置を特定する処理の他の一例を示す図である。 上記テレビが輝度変化による光通信を用いて通信情報を出力する処理の他の一例を示す図である。 上記携帯電話機の表示部に表示される画面の一例を示す図である。 上記携帯電話機の表示部に表示される画面の他の一例を示す図である。

〔本発明で利用する光通信の概要〕
本発明は、情報出力装置と情報取得装置との間で伝送する通信情報を輝度変化に変換して通信する光通信を利用する。この光通信について、図２に基づいて説明する。図２は、本発明で利用する光通信の概要を示す図である。

図２に示すように、映像コンテンツを表示するテレビ２（表示装置、情報出力装置）において、フレーム毎に、元の映像コンテンツの輝度を変化させる。情報取得装置である携帯電話機１がこの表示装置をカメラ１３で撮像し、撮像した画像を解析することにより、輝度変化を検出することができる。

図２に示すように、テレビ２の画面全体の輝度値を変化させるため、携帯電話機１は、テレビ２の表示画面の一部を撮像することによって、通信情報を取得することができる。また、テレビ２を定点で撮影するのではなく、撮影範囲を動かしてテレビ２の全体または一部を撮影した場合であっても、カメラ１３で撮像した画像の全体の輝度変化を捉えることにより、通信情報を検出することができる。

また、撮影範囲が動いた場合であっても、撮像した画像上におけるテレビ２の画面以外の部分（例えば、背景等）は、通常、急激に輝度が変化しない。さらに、テレビ２が出力する映像コンテンツの原画像は、連続したフレーム間では、急激に輝度変化が生じることは少ない。

そのため、例えば、テレビ２がフレーム間隔（１／６０秒）と同程度かそれ以下の時間間隔で輝度を変化させて通信情報を出力する場合、携帯電話機１は、所定の輝度変化を検出すると、その輝度変化はテレビ２から送信された通信情報に対応する輝度変化であると判断することができる。よって、撮影範囲が動いたとしても、撮像した画像に少なくともテレビ２の一部が含まれていれば、携帯電話機１は高精度に通信情報を検出することができる。

ここで、仮に、撮像した画像上におけるテレビ２の画面以外の部分、または、テレビ２が出力する映像コンテンツの原画像において、急激に輝度変化が生じたとしても、テレビ２が繰り返し通信情報を出力することによって、携帯電話機１は高精度に通信情報を検出することができる。

ここで、映像コンテンツの原輝度値を基準信号とし、基準信号より輝度を明るくしたものを明信号とし、基準信号より輝度を暗くしたものを暗信号とする。

基準信号、明信号および暗信号を組み合わせた輝度変化を「０」、「１」のビット情報等に対応付けておくことにより、表示装置と、カメラを搭載した装置との間で通信情報をやり取りすることができる。

映像コンテンツは一般的に６０フレーム／秒であるため、図２に示す光通信を用いることによって、１秒間に最大３０ビットの情報を送信することができる。以下に示す実施形態では、図７に示すように、３フレームの輝度変化で１ビットを表すこととする。ただし、これに限るものではなく、１ビットに対応するフレーム数は任意でよい。

例えば、１ビットを３フレームの輝度変化として規定し、６ビットの通信情報を伝送する場合、６ビット×３フレーム×１／６０秒＝０．３秒で通信情報を伝送することができる。よって、リアルタイムで通信情報を伝送するシステムに、輝度変化による光通信を好適に利用することができる。

また、以下に示す実施形態では、明信号を基準信号より１０％輝度が高いものとし、暗信号を基準信号より１０％輝度が低いものとする。ただし、これに限るものではなく、明信号および暗信号における基準信号に対する割合は任意でよい。また、明信号および暗信号を基準信号に対する輝度の割合の増減で示すのではなく、絶対値の増減で示してもよい。

このように、１／６０秒という短い時間間隔で表示装置の出力輝度値を変化させることによって、映像コンテンツの視聴に影響を与えず、通信情報を伝送することができる。また、図７に示すように、１ビットに対応する輝度変化を明信号と暗信号とを同じ割合で構成する場合、人間は残像効果により平均化した光を知覚するため、人間が輝度変化を知覚できないことも考えられる。すなわち、元の映像コンテンツの品質を損なうことなく、通信情報を伝送することができる。

なお、出力輝度値を変化させる期間（明信号または暗信号の期間）は、１／６０秒に限るものではないが、人間に知覚させないようにするために、上記期間は短いことが望ましい。

以下に、本発明の一実施形態について図１から図２１に基づいて説明する。

〔情報通信システムの概要〕
図３に基づいて、本発明の情報通信システム３の概要を説明する。図３は、情報通信システム３の概要を示す図である。本発明の情報通信システム３は、図３に示すように、情報取得装置である携帯電話機１と情報出力装置であるテレビ２とを含むものである。

テレビ２は、テレビ番組等の映像コンテンツを表示するものである。また、テレビ２は、映像コンテンツを表示している状態で、携帯電話機１に伝送する通信情報を、表示部が出力する輝度値の所定期間における輝度変化を示す輝度変化遷移情報に変換し、輝度変化遷移情報に基づいて、表示部が出力する輝度値を変化させるものである。

携帯電話機１は、画像を撮像するカメラを搭載しており、テレビ２の表示部の全体または一部を撮像した画像を順次取得し、取得した複数の画像の輝度値から、所定の輝度変化を検出し、通信情報を取得するものである。

図３に示す例では、情報取得装置としてカメラを搭載した携帯電話機１を例示し、情報出力装置としてテレビ２を例示するがこれに限るものではない。

情報取得装置は、カメラが撮像した画像を取得するものであればよい。すなわち、情報取得装置は、カメラを搭載していてもよいし、カメラが撮像した画像を取得できるように、無線通信手段または有線通信手段によって、カメラと接続されていてもよい。情報取得装置は、例えば、カメラを搭載したＰＤＡ（Personal Digital Assistant）、カメラを搭載した携帯ゲーム機、カメラと接続されているＰＣ等でもよい。

また、情報出力装置は、表示部を備えているものであればよい。情報出力装置は、例えば、ＰＣ、音響機器、ビデオレコーダ、その他、冷蔵庫や電子レンジ等の表示部を備える家電機器等でもよい。

図３に示す例では、情報通信システム３は、１つの携帯電話機１と、１つのテレビ２とを含むものであるが、これに限るものではない。情報通信システム３は、複数の携帯電話機１を含んでいてもよいし、複数のテレビ２を含んでいてもよい。

〔携帯電話機の構成〕
次に、図１に基づいて、携帯電話機１の構成について説明する。図１は、携帯電話機１の要部構成の一例を示すブロック図である。図１に示すように、携帯電話機１は、制御部１１、記憶部１２、カメラ１３、通信部１４、表示部１５および操作部１６を備えている。なお、携帯電話機１は、音声入力部、音声出力部、電話網通信部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。

カメラ１３は、撮像素子で撮像した画像（または動画）をデジタルデータとして記録するものである。カメラ１３が記録したデジタルデータを画像データ（動画データ）と称する。

通信部１４、無線ＬＡＮ等の無線通信手段によって、テレビ２等の他の装置と通信を行い、制御部１１の指示に従って、データのやりとりを行うものである。通信部１４は、例えば、Ｗｉ−Ｆｉ、ＷｉＭＡＸ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ等の通信方式で通信する。

表示部１５は、制御部１１の指示に従って画像を表示するものである。表示部１５は、制御部１１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。

操作部１６は、ユーザが携帯電話機１に指示信号を入力し、携帯電話機１を操作するためのものである。操作部１６は、オンフックキー、オフフックキー、ファンクションキー、十字キー、テンキー等で構成されているものであってもよい。また、操作部１６と表示部１５とが一体となっているタッチパネルであってもよい。

制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、携帯電話機１が備える各部を統括的に制御するものである。

本実施形態では、制御部１１は、機能ブロックとして、画像取得部（画像取得手段）２１、代表輝度値特定部（代表輝度値特定手段）２２、ビット値生成部２３、ビット列検出部（輝度変化検出手段）２４、位置特定部（通信情報特定手段、位置情報生成手段）２５、表示制御部（表示制御手段）２６、光通信制御部（送信手段、受信手段）２７および機器情報取得部２８を備える構成である。これらの制御部１１の各機能ブロック（２１〜２８）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。

画像取得部２１は、カメラが撮像した画像を取得するものである。リアルタイムで情報処理または表示処理を行うため、画像取得部２１は、カメラが撮像した画像を順次取得し、その都度、取得した画像を代表輝度値特定部２２および／または表示制御部２６に出力する。

代表輝度値特定部２２は、画像取得部２１が取得した画像を複数の領域に分割し、分割して得られる領域毎に、当該領域に含まれる各画素の輝度値から、当該領域の代表輝度値を特定するものである。代表輝度値特定部２２は、特定した代表輝度値をビット値生成部２３に出力する。

具体的には、代表輝度値特定部２２は、分割して得られる各領域に少なくとも１つの画素が含まれるように、画像を複数の領域に分割する。また、各領域の形状（領域に含まれる画素群の形状）は任意でよい。代表輝度値特定部２２は、例えば、図４に示すように、画像を格子状に複数の領域に分割してもよい。図４は、画像分割の一例を示す図である。図４の（ａ）は、画像を格子状に縦４×横５の２０個の領域に分割した例を示す図であり、図４の（ｂ）は、画像を格子状に縦１３×横１７の２２１個の領域に分割した例を示す図である。また、図４に示すように各領域の形状を同一にするのではなく、各領域の形状が異なるように画像を分割してもよい。本実施形態では、代表輝度値特定部２２は、画像を格子状に縦３×横４の１２個の領域に分割するものとする。

また、本実施形態では、代表輝度値特定部２２は、領域に含まれる各画素の輝度値を平均した値をその領域の代表輝度値とする。ただし、代表輝度値の特定方法はこれに限るものではない。例えば、代表輝度値特定部２２は、領域に含まれる、何れかの画素の輝度値をその領域の代表輝度値としてもよい。また、代表輝度値特定部２２は、領域に含まれる各画素の輝度値の中央値をその領域の代表輝度値としてもよい。また、代表輝度値特定部２２は、領域内の画素の輝度値の最大値または最小値をその領域の代表輝度値としてもよい。

すなわち、本実施形態では、代表輝度値特定部２２は、画像取得部２１が取得した画像を格子状に縦３×横４の１２個の領域に分割し、領域に含まれる各画素の輝度値を平均して、領域毎に代表輝度値を算出し、１つの画像から１２個の代表輝度値を特定する。ｎ番目のフレーム（フレームｎ）の画像から得られる代表輝度値の行列を代表輝度値行列Ｃnとする。つまり、代表輝度値行列Ｃnは３×４の行列であり、各領域の代表輝度値はＣn（ｉ，ｊ）で示す。ここで、（ｉ，ｊ）の「ｉ」は、画像の上からｉ番目の領域を示し、「ｊ」は、画像の左からｊ番目の領域を示す。

このように、代表輝度値特定部２２が各画素の輝度値を平均して代表輝度値を算出することにより、輝度変化（色変化）のノイズを除去することができる。また、分割する領域の数を少なくする（分割する領域の面積を大きくする）ことにより、よりノイズを除去することができる。

ビット値生成部２３は、代表輝度値特定部２２から取得した代表輝度値行列Ｃn，Ｃn-1，Ｃn-2において、領域毎にその領域の代表輝度値が所定の条件を満たすか否かを判定して、ビット値行列Ｂnを生成するものである。ビット値生成部２３は、生成したビット値行列Ｂnをビット列検出部２４に出力する。

具体的には、ビット値生成部２３は、代表輝度値行列Ｃn（ｉ，ｊ），Ｃn-1（ｉ，ｊ），Ｃn-2（ｉ，ｊ）が次の第１条件および第２条件を満たす場合、ビット値行列Ｂn（ｉ，ｊ）の値を１とする。
第１条件：第１閾値Ｐ＜Ｃn-1（ｉ，ｊ）／Ｃn-2（ｉ，ｊ）＜第２閾値Ｑ
第２条件：第３閾値Ｒ＜Ｃn-2（ｉ，ｊ）／Ｃn（ｉ，ｊ）＜第４閾値Ｓ
また、ビット値生成部２３は、代表輝度値行列Ｃn（ｉ，ｊ），Ｃn-1（ｉ，ｊ），Ｃn-2（ｉ，ｊ）が上記の第１条件または第２条件の何れかを満たさない場合、ビット値行列Ｂn（ｉ，ｊ）の値を０とする。

このように、全ての領域（本実施形態の場合は、１２個の領域）に対してビット値を生成する。つまり、ビット値行列Ｂnも、輝度代表値行列Ｃnと同様に、３×４の行列である。

ここで、本実施形態では、第１閾値Ｐの値を１．１−αとし、第２閾値Ｑの値を１．１＋αとし、第３閾値Ｒの値を１．１−βとし、第４閾値Ｓの値を１．１＋βとする。なお、α、β＞０であり、本実施形態では、α＝β＝０．０５とする。

上述のように、本実施形態では、ビット値「１」を基準信号、明信号、暗信号の３フレームで定義しており、明信号は輝度値が基準信号より１０％大きく、暗信号は輝度値が基準信号より１０％小さいものである。上記の第１条件および第２条件は、輝度値の変化に置き換えられたビット値「１」を検出するためのものである。そのため、ビット値「１」（またはビット値「０」）の定義に合わせて、上記の第１条件および第２条件を適宜設定すればよい。

ここで、図５に基づいて、画像取得部２１、代表輝度値特定部２２およびビット値生成部２３が実行する処理について具体的に説明する。図５は、テレビ２が表示する映像コンテンツの原輝度値に加減する輝度値、カメラが撮像した画像、輝度代表値およびビット値の関係をフレーム毎に示す図である。

なお、図５に示す例では、テレビ２が画像を切り替えるタイミングと、カメラが画像を順次撮像するタイミングとが同期しているものとする。また、テレビ２は、フレーム１〜３でビット値「１」を出力するものとする。

具体的には、テレビ２は、フレーム０〜１において、映像コンテンツを原輝度値のまま表示する。フレーム２では、テレビ２は、映像コンテンツの原輝度値を１０％増加させて出力する。フレーム３では、テレビ２は、映像コンテンツの原輝度値を１０％減少させて出力する。そして、フレーム４では、テレビ２は、映像コンテンツを原輝度値のまま表示する。

まず、画像取得部２１がカメラからフレーム０の画像Ｐ0を取得すると、代表輝度値特定部２２は、画像Ｐ0を３×４の領域に分割し、各領域毎に輝度値の平均を算出し、代表輝度値行列Ｃ0を特定する。ビット値生成部２３は、代表輝度値行列Ｃ0からビット値行列Ｂ0を生成する。なお、ここでは、ビット値生成部２３は、フレーム０における代表輝度値行列Ｃ0のみを取得しており、フレーム０の１つ前および２つ前のフレームの代表輝度値がないため、ビット値を全て０としてビット値行列Ｂ0を生成する。

次に、画像取得部２１がカメラからフレーム１の画像Ｐ1を取得すると、代表輝度値特定部２２は、同様に、代表輝度値行列Ｃ1を特定する。ビット値生成部２３は、代表輝度値行列Ｃ1、Ｃ0からビット値行列Ｂ1を生成する。先程と同様に、ビット値生成部２３は、フレーム１の２つ前のフレームの代表輝度値がないため、ビット値を全て０としてビット値行列Ｂ1を生成する。

次に、画像取得部２１がカメラからフレーム２の画像Ｐ2を取得すると、代表輝度値特定部２２は、同様に、代表輝度値行列Ｃ2を特定する。ビット値生成部２３は、代表輝度値行列Ｃ2、Ｃ1、Ｃ0からビット値行列Ｂ2を生成する。図示の例では、ビット値生成部２３は、代表輝度値行列Ｃ2、Ｃ1、Ｃ0の何れの領域も、第１条件または第２条件の何れかを満たさないため、全ての領域でビット値を０とし、ビット値行列Ｂ2を生成する。

次に、画像取得部２１がカメラからフレーム３の画像Ｐ3を取得すると、代表輝度値特定部２２は、同様に、代表輝度値行列Ｃ3を特定する。ビット値生成部２３は、代表輝度値行列Ｃ3、Ｃ2、Ｃ1からビット値行列Ｂ3を生成する。図示の例では、領域（２，４）における代表輝度値行列Ｃ3（２，４）、Ｃ2（２，４）、Ｃ1（２，４）が、第１条件および第２条件を満たす。具体的には、Ｃ2（２，４）／Ｃ1（２，４）＝110/100＝1.1であり、第１閾値Ｐ(=1.05)より大きく第２閾値Ｑ(=1.15)より小さいため第１条件を満たす。また、Ｃ1（２，４）／Ｃ3（２，４）＝100/90＝約1.11であり、第３閾値Ｒ(=1.05)より大きく第４閾値Ｓ(=1.15)より小さいため第２条件を満たす。よって、ビット値生成部２３は、Ｂ3（２，４）のみをビット値「１」とし、それ以外の領域のビット値を０とし、ビット値行列Ｂ3を生成する。

このように、代表輝度値特定部２２は、画像取得部２１が取得した画像Ｐnから代表輝度値行列Ｃnを特定し、ビット値生成部２３は、代表輝度値行列Ｃn、Ｃn-1、Ｃn-2からビット値行列Ｂnを生成する。

ビット列検出部２４は、ビット値生成部２３が生成したビット値行列Ｂ0〜Ｂnの中から、領域毎に、予め定めた通信ビット列を検出するものである。ビット列検出部２４は、通信ビット列を検出すると、検出した通信ビット列と、通信ビット列が検出された領域を示す領域情報とを位置特定部２５に出力する。

ここで、領域情報は、例えば、（２，４）等のその領域の位置関係を示す情報であってもよいし、その領域の画像上の位置を示す座標を示す情報であってもよい。なお、領域の画像上の位置を示す座標は、例えば、その領域の端点の座標であってもよいし、その領域の中央の座標であってもよい。

具体的には、図６に基づいて、ビット列検出部２４が実行する処理について説明する。図６は、ビット値生成部２３が生成したビット値行列Ｂ0〜Ｂ18を示す図である。なお、ここでは、通信ビット列「１０１１０１」をビット列検出部２４が検出するものとする。

本実施形態では、上述のように、ビット値「１」を３つのフレームで定義しているため、ビット列検出部２４は、まず、図６に示すように、ビット値行列Ｂ0〜Ｂ18を３つのグループ（フレーム３ｍ、フレーム３ｍ＋１、フレーム３ｍ＋２）に分ける。そして、ビット列検出部２４は、各グループの領域毎に、通信ビット列「１０１１０１」があるか否かを判定する。

図示の例では、フレーム３ｍのグループの領域（２，４）に通信ビット列「１０１１０１」があるため、ビット列検出部２４は、通信ビット列「１０１１０１」と、領域（２，４）を示す領域情報とを位置特定部２５に出力する。

なお、ビット列検出部２４は、ビット値行列Ｂ0〜Ｂnの中から、通信ビット列を検出するものとしたが、これに限るものではない。例えば、図６に示す例において、通信ビット列の最大ビット数が６ビットの場合、ビット列検出部２４は、ビット値行列Ｂ3〜Ｂ18の中から通信ビット列を検出すれば十分である。

光通信制御部２７は、テレビ２が実行する光通信処理を制御または管理するものである。具体的には、光通信制御部２７は、所定の通信情報を光通信で出力するようにテレビ２に指示する通信情報出力指示を送信する。また、光通信制御部２７は、テレビ２に対して、テレビ２が光通信で出力している通信情報の内容を送信するように要求する出力情報送信指示を送信する。そして、その出力情報送信指示に対する応答として、テレビ２が光通信で出力している通信情報の内容を示す通信内容識別情報を受信する。

光通信制御部２７は、通信情報出力指示を送信した場合、指示の送信先のテレビ２を一意に識別するための装置識別情報と、光通信で出力するように指示した通信情報の内容を示す通信内容識別情報とを対応付けた装置出力情報を位置特定部２５に出力する。また、光通信制御部２７は、出力情報送信指示を送信して、通信内容識別情報を受信した場合、指示の送信先のテレビ２を一意に識別するための装置識別情報と、当該テレビ２が光通信で出力している通信情報の内容を示す通信内容識別情報とを対応付けた装置出力情報を位置特定部２５に出力する。

位置特定部２５は、ビット列検出部２４からビット列検出部２４が検出した通信ビット列を取得すると、通信ビット列と通信情報とが対応付けられたビット列変換テーブルを記憶部１２から読み出す。そして、位置特定部２５は、読み出したビット列変換テーブルを参照して、ビット列検出部２４が検出した通信ビット列に対応する通信情報を特定する。

位置特定部２５は、通信情報を特定すると、ビット列検出部２４から取得した領域情報と、特定した通信情報の内容を示す通信内容識別情報とを対応付けて通信内容取得位置情報を生成する。

また、位置特定部２５は、光通信制御部２７から装置出力情報を取得した場合、取得した装置出力情報に含まれる通信内容識別情報と、特定した通信内容識別情報とが一致すると、ビット列検出部２４から取得した領域情報と、光通信制御部２７から取得した装置出力情報に含まれる装置識別情報とを対応付けて装置位置情報を生成する。位置特定部２５は、生成した装置位置情報を表示制御部２６に出力する。

このように、位置特定部２５は、分割した領域に基づいて、通信情報が検出された位置またはテレビ２の画像上の位置を特定するため、画像を小さい領域に細かく分割することにより、位置の特定の精度が向上する。

機器情報取得部２８は、通信部１４を介して、テレビ２に関する情報である表示装置関連情報を送信するように要求する表示装置関連情報送信指示をテレビ２に送信する。そして、その表示装置関連情報送信指示に対する応答として、テレビ２から通信部１４を介して、当該テレビ２の表示装置関連情報を受信する。機器情報取得部２８は、受信した表示装置関連情報を表示制御部２６に出力する。

ここで、表示装置関連情報とは、例えば、テレビ２の機能、性能、特性等を示す情報、テレビ２が表示しているコンテンツを示す情報、テレビ２が保持しているコンテンツを示す情報、テレビ２が接続している機器を示す情報、テレビ２をユーザが特定するためのアイコン等の表示用情報などである。

なお、機器情報取得部２８は、テレビ２の表示装置関連情報が記憶部１２、外部の記憶装置またはネットワーク上の他の装置に格納されている場合、記憶部１２、外部の記憶装置またはネットワーク上の他の装置から表示装置関連情報を取得してもよい。

表示制御部２６は、携帯電話機１が実行する処理に応じて画像を生成し、生成した画像を表示部１５に表示する。また、表示制御部２６は、画像取得部２１が取得した、カメラ１３が撮像した画像を表示部１５にリアルタイムで表示するものである。

また、表示制御部２６は、位置特定部２５から装置位置情報を取得している場合、装置位置情報に含まれる装置識別情報の示す装置に関する装置関連情報を含む画像を生成する際に、装置位置情報に含まれる領域情報の示す領域に対応する表示部１５の画面の表示位置に、当該領域情報に対応する装置情報の示すテレビ２に関する装置関連情報を配置して画像を生成する。

また、表示制御部２６は、位置特定部２５から装置位置情報を取得している場合、画像取得部２１が取得した、カメラ１３が撮像した画像を表示する際に、カメラ１３が撮像した画像に重畳させて、装置位置情報に含まれる領域情報の示す領域に対応する表示部１５の画面の表示位置に、当該領域情報に対応する装置情報の示すテレビ２に関する装置関連情報を表示する。

記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記のビット値変換テーブル、ビット列変換テーブル等を格納している。また、記憶部１２が上記の第１条件および第２条件を示す条件情報等を格納していてもよい。

ビット値変換テーブル、ビット列変換テーブルは、光通信制御部２７によって予め生成されるものである。光通信制御部２７は、生成したビット値変換テーブル、ビット列変換テーブルを、予めテレビ２に送信する。なお、テレビ２がビット値変換テーブル、ビット列変換テーブルを生成してもよい。この場合、光通信制御部２７は、予めテレビ２からビット値変換テーブル、ビット列変換テーブルを取得して、取得したビット値変換テーブル、ビット列変換テーブルを記憶部１２に格納する。

ビット値変換テーブル、ビット列変換テーブルは、例えば、図７および図８に示すようなデータであってよい。図７は、ビット値変換テーブルの一例を示す図であり、図８は、ビット列変換テーブルの一例を示す図である。

図７に示す例では、ビット値「１」および「０」を３つのフレームの輝度変化で規定しているが、これに限るものではない。また、ビット値「１」を基準信号、明信号、暗信号の順の組み合わせで定義しているが、これに限るものではない。ビット値「１」および「０」の定義は任意でよい。

図８に示す例では、全ての通信ビット列は、スタートコードと、通信情報の内容を示す通信コードとを含む。図８に示す例では、スタートコードは「１０１１」である。通信ビット列にスタートコードを入れることによって、ノイズを除去することができる。本実施形態では、通信ビット列がスタートコードを含んでいるが、スタートコードはなくてもよい。また、スタートコードのビット列（ビット数およびビット値）は任意でよい。

すなわち、通信ビット列に含まれる通信コードが通信情報の内容を示すものである。図８に示す例では、通信コード「０１」が通信情報「Ａ」を示し、通信コード「１０」が通信情報「Ｂ」を示す。図８は一例であり、通信コードと通信情報との対応関係は任意に定義すればよい。

なお、ビット値変換テーブルおよびビット列変換テーブルを含む情報を変換情報と称する。

〔テレビの構成〕
図９は、テレビ２の要部構成の一例を示すブロック図である。図９に示すように、テレビ２は、制御部３１、記憶部３２、アンテナ３３、通信部３４および表示部３５を備えている。なお、テレビ２は、音声出力部、操作部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。

アンテナ３３は、テレビ放送の放送波を受信し、受信した信号を制御部３１に出力する。

通信部３４は、無線ＬＡＮ等の無線通信手段によって、携帯電話機１等の他の装置と通信を行い、制御部３１の指示に従って、データのやりとりを行うものである。通信部３４は、例えば、Ｗｉ−Ｆｉ、ＷｉＭＡＸ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ等の通信方式で通信する。

表示部３５は、制御部３１の指示に従って画像を表示するものである。表示部３５は、制御部３１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。

制御部３１は、記憶部３２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、テレビ２が備える各部を統括的に制御するものである。

本実施形態では、制御部３１は、機能ブロックとして、コンテンツ取得部４１、光通信処理部（情報変換手段）４２、機器情報送信部４３および表示制御部４４を備える構成である。これらの制御部１１の各機能ブロック（４１〜４４）は、ＣＰＵが、ＲＯＭ等で実現された記憶装置に記憶されているプログラムをＲＡＭ等で実現された一時記憶部に読み出して実行することで実現できる。

コンテンツ取得部４１は、アンテナ３３が受信した放送波の信号を取得し、取得した信号を映像・音声信号に変換して、映像信号を表示制御部４４に出力し、音声信号を音声出力部（不図示）に出力するものである。本実施形態では、コンテンツ取得部４１は、アンテナ３３を介して映像コンテンツを取得しているが、これに限るものではない。例えば、コンテンツ取得部４１は、記憶部３２に映像コンテンツが格納されている場合、記憶部３２から映像コンテンツを読み出して取得してもよい。また、コンテンツ取得部４１は、無線通信手段または有線通信手段を介して、外部の記憶装置またはネットワーク上の他の装置から映像コンテンツを取得してもよい。

光通信処理部４２は、携帯電話機１から通信情報出力指示を受信すると、記憶部３２からビット列変換テーブルおよびビット値変換テーブルを読み出し、読み出したビット列変換テーブルおよびビット値変換テーブルを参照して、通信情報出力指示に含まれる所定の通信情報を、所定期間における輝度変化を示す輝度変化遷移情報に変換する。そして、光通信処理部４２は、変換した輝度変化遷移情報に基づいて画像の輝度値を変化するように表示制御部４４に指示する。

また、テレビ２が予め定められた通信情報を光通信で出力するように設定されている場合、光通信処理部４２は、上記予め定められた通信情報を輝度変化遷移情報に変換して、変換した輝度変化遷移情報に基づいて画像の輝度値を変化するように表示制御部４４に指示してもよい。この場合、光通信処理部４２は、携帯電話機１から出力情報送信指示を受信すると、出力情報送信指示に対する応答として、上記予め定められた通信情報の内容を示す通信内容識別情報を携帯電話機１に送信する。

ここで、輝度変化遷移情報とは、例えば、図１０に示すような情報であってよい。図１０に示す例では、輝度変化遷移情報は、所定期間における各フレームごとの基準信号に対する輝度変化を示す情報である。なお、図１０に示す輝度変化遷移情報は通信情報「Ａ」に対応するものである。

機器情報送信部４３は、通信部３４を介して、携帯電話機１から装置関連情報送信指示を受信すると、記憶部３２から自装置の装置関連情報を読み出し、受信した装置関連情報送信指示に対する応答として、通信部３４を介して、読み出した装置関連情報を携帯電話機１に送信する。

表示制御部４４は、テレビ２が実行する処理に応じて画像（動画または静止画）を生成し、生成した画像を表示部３５に表示する。表示制御部４４は、画像生成部４５および輝度制御部（輝度値調整手段）４６を含む。

画像生成部４５は、コンテンツ取得部４１から映像信号を取得し、取得した映像信号に基づいて画像を生成し、生成した画像を順次輝度制御部４６に出力する。

輝度制御部４６は、光通信処理部４２からの指示に基づき、輝度変化遷移情報の示す輝度変化に従って、画像生成部４５が生成した画像の輝度値を変化させて表示部３５に表示する。なお、輝度制御部４６は、画像生成部４５が生成した画像の全画素の輝度値を変化させてもよいし、画像生成部４５が生成した画像の一部の画素の輝度値を変化させてもよい。

記憶部３２は、制御部３１が参照するプログラムやデータ等を格納するものであり、例えば、上記のビット列変換テーブル、ビット値変換テーブル、装置関連情報等を格納している。

上述のように、光通信処理部４２が、ビット値変換テーブルおよびビット列変換テーブルを携帯電話機１から受信して記憶部３２に格納する。なお、光通信処理部４２が、ビット値変換テーブルおよびビット列変換テーブルを生成してもよい。この場合、光通信処理部４２は、生成したビット値変換テーブルおよびビット列変換テーブルを予め携帯電話機１に送信する。

〔実施例１〕
次に、テレビ２から携帯電話機１へ光通信で通信情報が伝送される際の携帯電話機１およびテレビ２における処理の一例（実施例１）について、図１１〜図１３に基づいて説明する。

図１１は、実施例１における情報通信システム３ａの概要を示す図である。図１１に示すように、情報通信システム３ａは、携帯電話機１、テレビ２ａ、テレビ２ｂおよびＷｉ−Ｆｉアクセスポイント４を含む。なお、以下では、テレビ２ａおよびテレビ２ｂを総称する場合、テレビ２と称する。

Ｗｉ−Ｆｉアクセスポイント４は、携帯電話機１およびテレビ２を相互に接続したり、他のネットワークに接続したりするためのものである。

前提として、携帯電話機１およびテレビ２は、互いのＩＰアドレスは既知であるが、互いにどの位置に存在するかは認識できていないこととする。なお、携帯電話機１のＩＰアドレスを「192.168.0.10」とし、テレビ２ａのＩＰアドレスを「192.168.0.21」とし、テレビ２ｂのＩＰアドレスを「192.168.0.22」とする。

また、テレビ２は、表示部３５に映像コンテンツを表示しているものとする。

実施例１では、携帯電話機１が輝度変化による光通信を用いてテレビ２ａおよびテレビ２ｂの位置を特定する例を説明する。本実施例では、携帯電話機１が、テレビ２ａおよびテレビ２ｂに対して、通信情報出力指示を送信する。このとき、携帯電話機１は、テレビ２ａおよびテレビ２ｂに対して、それぞれ異なる通信情報を出力するように指示する。具体的には、携帯電話機１は、テレビ２ａに対して、通信情報「Ａ」を出力するように指示し、テレビ２ｂに対して、通信情報「Ｂ」を出力するように指示するものとする。

なお、図１１では、テレビ２ａおよびテレビ２ｂに「Ａ」、「Ｂ」が表示されているように描かれているが、これは説明の便宜を図るためである。実際には、テレビ２ａおよびテレビ２ｂは、画像として「Ａ」、「Ｂ」を表示するのではなく、通信情報「Ａ」、通信情報「Ｂ」をそれぞれ示す輝度変化に変えて通信情報を出力する。

以下に、図１２および図１３に基づいて、携帯電話機１およびテレビ２の具体的な処理例について説明する。図１２は、携帯電話機１が輝度変化による光通信を用いてテレビ２ａおよびテレビ２ｂの位置を特定する処理の一例を示す図である。図１３は、テレビ２が輝度変化による光通信を用いて通信情報を出力する処理の一例を示す図である。

図１２に示すように、携帯電話機１は、カメラ１３を起動する（Ｓ１）。また、携帯電話機１の光通信制御部２７は、テレビ２ａに対して通信情報「Ａ」を出力するように指示する通信情報出力指示を送信し、テレビ２ｂに対して通信情報「Ｂ」を出力するように指示する通信情報出力指示を送信する（Ｓ２）。

ここで、光通信制御部２７は、テレビ２ａを示す装置識別情報と、通信情報「Ａ」を示す通信内容識別情報とを対応付けた装置出力情報ＤＡと、テレビ２ｂを示す装置識別情報と、通信情報「Ｂ」を示す通信内容識別情報とを対応付けた装置出力情報ＤＢとを位置特定部２５に出力する。

次に、画像取得部２１は、カメラ１３が撮像した画像を順次取得する。ここで、ｎ＝０とし（Ｓ３）、画像取得部２１は、ｎ番目のフレームの画像Ｐn、つまり、フレーム０の画像Ｐ0を取得する（Ｓ４）。

代表輝度値特定部２２は、画像取得部２１が取得した画像Ｐ0の全領域を複数の領域（ｉ，ｊ）に分割する（Ｓ５）。そして、代表輝度値特定部２２は、画像Ｐ0の領域（ｉ，ｊ）毎に、それぞれ代表輝度値を算出し、代表輝度値行列Ｃ0（ｉ，ｊ）を特定する（Ｓ６）。

ビット値生成部２３は、代表輝度値行列Ｃ0（ｉ，ｊ）に基づいて、ビット値検出条件（第１条件および第２条件）を満たす領域の値を１とし、それ以外の領域の値を０とし、フレーム０のビット値行列Ｂ0（ｉ，ｊ）を生成する（Ｓ７）。

ビット列検出部２４は、ビット値行列Ｂ0の各領域（ｉ，ｊ）に所定の通信ビット列が含まれるかどうかを判定する（Ｓ８）。ここでは、ビット値行列Ｂ0しかないため、通信ビット列が検出できなかったとする。

ビット列検出部２４が所定の通信ビット列が含まれないと判定すると（Ｓ８でＮＯ）、光通信制御部２７は、光通信によるテレビ２ａおよびテレビ２ｂの位置を特定する処理を終了させるか否かを終了条件を満たすか否かに基づいて判定する（Ｓ１２）。

ここで、携帯電話機１が情報通信システム３ａに含まれるテレビ２全ての位置を特定することを終了条件とする。そのため、終了条件を満たしておらず（Ｓ１２でＮＯ）、ｎ＝ｎ＋１として（Ｓ１３）、Ｓ４〜Ｓ８の処理を繰り返す。

Ｓ４〜Ｓ８の処理を繰り返し、Ｓ８において、ビット列検出部２４がビット値行列Ｂ0〜Ｂnの或る領域（ｉ，ｊ）に所定の通信ビット列が含まれると判定すると（Ｓ８でＹＥＳ）、検出した通信ビット列と、通信ビット列が検出された領域を示す領域情報とを位置特定部２５に出力する。ここでは、領域（１，２）に通信ビット列「１０１１０１」が検出され、さらに、領域（１，４）に通信ビット列「１０１１１０」が検出されたものとする。

位置特定部２５は、ビット列検出部２４から通信ビット列「１０１１０１」および「１０１１１０」を取得すると、ビット列変換テーブルを記憶部１２から読み出し、読み出したビット列変換テーブルを参照して、通信ビット列「１０１１０１」に対応する通信情報として通信情報「Ａ」を特定し、さらに、通信ビット列「１０１１１０」に対応する通信情報「Ｂ」を特定する（Ｓ９）。

そして、位置特定部２５は、取得した装置出力情報の中に、通信情報「Ａ」を示す通信内容識別情報を含む装置出力情報ＤＡと通信情報「Ｂ」を示す通信内容識別情報を含む装置出力情報ＤＢとがあるため、装置出力情報ＤＡに含まれるテレビ２ａを示す装置識別情報と、装置出力情報ＤＢに含まれるテレビ２ｂを示す装置識別情報とを特定する（Ｓ１０）。位置特定部１０は、特定した装置識別情報と、領域情報とを対応付けて装置位置情報を生成する（Ｓ１１）。

ここでは、位置特定部２５は、テレビ２のＩＰアドレスを装置識別情報とし、領域（ｉ，ｊ）の画像上の位置を示す座標を領域情報として、装置位置情報を生成するものとする。つまり、位置特定部２５は、テレビ２ａのＩＰアドレス「192.168.0.21」を示す装置識別情報と、領域（１，２）の画像上の位置を示す座標「ｘ＝２０，ｙ＝２０」を示す領域情報とを対応付けて装置位置情報ＥＡを生成し、さらに、テレビ２ｂのＩＰアドレス「192.168.0.22」を示す装置識別情報と、領域（１，４）の画像上の位置を示す座標「ｘ＝８０，ｙ＝２０」を示す領域情報とを対応付けて装置位置情報ＥＢを生成する。なお、上記のカメラ１３が撮影した画像上の位置を示す座標の座標軸は、画像の左上端を原点とし、水平右方向がｘ軸、垂直下方向がｙ軸とする。

位置特定部２５が装置位置情報を生成すると、光通信制御部２７は、終了条件を満たしているか否か判定する。このとき、位置特定部２５が装置位置情報ＥＡおよびＥＢを生成し、携帯電話機１が情報通信システム３ａに含まれるテレビ２全ての位置を特定したため（Ｓ１２でＹＥＳ）、光通信制御部２７は、光通信によるテレビ２ａおよびテレビ２ｂの位置を特定する処理を終了させる。

なお、Ｓ１２における終了条件は、上記の条件に限るものではない。例えば、携帯電話機１が情報通信システム３ａに含まれる何れかのテレビ２の位置を特定することを終了条件としてもよい。また、携帯電話機１が情報通信システム３ａに含まれる所定のテレビ２の位置を特定することを終了条件としてもよい。また、所定時間の経過を終了条件としてもよいし、ユーザからの終了指示を終了条件としてもよい。

また、図１３に示すように、テレビ２の光通信処理部４２は、まず、携帯電話機１から通信情報出力指示を送信されるのを待つ（Ｓ２１）。ここで、光通信処理部４２が通信情報出力指示を受信しない場合（Ｓ２１でＮＯ）、引き続き、コンテンツ取得部４１が取得した映像信号に基づいて、表示制御部４４は、輝度を変化させずに、そのまま映像コンテンツを表示部３５に表示する。

一方、光通信処理部４２が通信情報出力指示を受信すると（Ｓ２１でＹＥＳ）、記憶部３２からビット列変換テーブルおよびビット値変換テーブルを読み出し、読み出したビット列変換テーブルおよびビット値変換テーブルを参照して、通信情報出力指示に含まれる所定の通信情報を、輝度変化を示す輝度変化遷移情報に変換する（Ｓ２２）。そして、光通信処理部４２は、変換した輝度変化遷移情報に基づいて画像の輝度値を変化するように表示制御部４４に指示する。

輝度制御部４６は、光通信処理部４２からの指示に基づき、輝度変化遷移情報の示す輝度変化に従って、画像生成部４５が生成した画像の輝度値を変化させて表示部３５に表示する（Ｓ２３）。

〔実施例２〕
次に、テレビ２から携帯電話機１へ光通信で通信情報が伝送される際の携帯電話機１およびテレビ２における処理の他の一例（実施例２）について、図１４〜図１６に基づいて説明する。

図１４は、実施例２における情報通信システム３ｂの概要を示す図である。図１４に示すように、情報通信システム３ｂは、携帯電話機１、テレビ２ｃ、テレビ２ｄおよびＷｉ−Ｆｉアクセスポイント４を含む。なお、以下では、テレビ２ｃおよびテレビ２ｄを総称する場合、テレビ２と称する。

図１４に示すように、テレビ２ｃが建物の１階に設置されており、テレビ２ｄが建物の２階に配置されているとする。また、携帯電話機１のユーザは建物の１階にいるものとする。

前提として、携帯電話機１およびテレビ２は、互いのＩＰアドレスは既知であるが、互いにどの位置に存在するかは認識できていないこととする。なお、携帯電話機１のＩＰアドレスを「192.168.0.10」とし、テレビ２ｃのＩＰアドレスを「192.168.0.21」とし、テレビ２ｄのＩＰアドレスを「192.168.0.22」とする。

また、テレビ２は、表示部３５に映像コンテンツを表示しているものとする。

実施例２では、携帯電話機１が輝度変化による光通信を用いてテレビ２ｃおよびテレビ２ｄの位置を特定する例を説明する。本実施例では、携帯電話機１が、テレビ２ｃおよびテレビ２ｄに対して、順番に通信情報出力指示を送信する。このとき、携帯電話機１は、テレビ２ｃおよびテレビ２ｄに対して、同じ通信情報を出力するように指示する。具体的には、携帯電話機１は、テレビ２ｃおよびテレビ２ｄに対して、通信情報「Ａ」を出力するように指示するものとする。

すなわち、実施例２では、各テレビ２に対して順番に指示して、その応答を検出し、或るテレビ２の位置を特定する。実施例２では、実施例１と異なり、複数のテレビ２の位置を同時に特定することはできないが、１つの通信情報をやり取りするため携帯電話機１およびテレビ２の処理負荷を軽減したり、処理を簡略化したりすることができる。携帯電話機１およびテレビ２の処理負荷の軽減等に最適な通信情報や安全または正確に通信するために最適な通信情報がある場合、実施例２の方法を適用することにより、携帯電話機１およびテレビ２の処理負荷を軽減したり、携帯電話機１とテレビ２との間の通信を安全または正確に実行したりすることができる。

なお、図１４では、テレビ２ｃおよびテレビ２ｄに「Ａ」が表示されているように描かれているが、これは説明の便宜を図るためである。実際には、テレビ２ｃおよびテレビ２ｄは、画像として「Ａ」を表示するのではなく、通信情報「Ａ」を示す輝度変化に代えて通信情報を出力する。

以下に、図１５および図１６に基づいて、携帯電話機１およびテレビ２の具体的な処理例について説明する。図１５は、携帯電話機１が輝度変化による光通信を用いてテレビ２ｃおよびテレビ２ｄの位置を特定する処理の一例を示す図である。図１６は、テレビ２が輝度変化による光通信を用いて通信情報を出力する処理の一例を示す図である。

図１５に示すように、携帯電話機１は、カメラ１３を起動する（Ｓ３１）。また、携帯電話機１の光通信制御部２７は、通信情報出力指示を送信する指示対象のテレビ２を１つ選択する（Ｓ３２）。ここでは、光通信制御部２７は、テレビ２ｄを指示対象のテレビとして選択したとする。

光通信制御部２７は、テレビ２ｄを選択すると、選択したテレビ２ｄに対して、通信情報「Ａ」を出力するように指示する通信情報出力指示を送信する（Ｓ３３）。また、光通信制御部２７は、テレビ２ｄを示す装置識別情報と、通信情報「Ａ」を示す通信内容識別情報とを対応付けた装置出力情報ＤＤを位置特定部２５に出力する。

次に、画像取得部２１は、カメラ１３が撮像した画像を順次取得する。以下のＳ３５〜Ｓ３８は、実施例１における図１２のＳ４〜７と同じ処理である。すなわち、画像取得部２１が画像Ｐnを取得し、代表輝度値特定部２２が画像Ｐnを複数の領域に分割して代表輝度値行列Ｃn（ｉ，ｊ）を特定する。そして、ビット値生成部２３が代表輝度値行列Ｃn（ｉ，ｊ）からビット値行列Ｂn（ｉ，ｊ）を生成する。

ビット列検出部２４は、ビット値行列Ｂ0の各領域（ｉ，ｊ）に所定の通信ビット列が含まれるかどうかを判定する（Ｓ３９）。テレビ２ｄは建物の２階にあり、テレビ２ｄを撮像できないため、ビット列検出部２４は所定の通信ビット列を検出しない。ビット列検出部２４が所定の通信ビット列を検出しなければ（Ｓ３９でＮＯ）、光通信制御部２７は、テレビ２ｄに通信情報出力指示を送信してから所定期間経過したか否かを判定する（Ｓ４０）。

ここで、所定期間経過していなければ（Ｓ４０でＮＯ）、ｎ＝ｎ＋１とし（Ｓ４１）、再度Ｓ３５〜Ｓ３９の処理を繰り返す。

一方、Ｓ３９において、ビット列検出部２４が所定の通信ビット列を検出せず、所定期間経過した場合（Ｓ４０でＹＥＳ）、光通信制御部２７は、テレビ２ｄからテレビ２ｃに指示対象のテレビを変更する（Ｓ４２）。光通信制御部２７は、変更したテレビ２ｃに対して、通信情報「Ａ」を出力するように指示する通信情報出力指示を送信する（Ｓ３３）。また、光通信制御部２７は、テレビ２ｃを示す装置識別情報と、通信情報「Ａ」を示す通信内容識別情報とを対応付けた装置出力情報ＤＣを位置特定部２５に出力する。

先程と同様に、Ｓ３４〜Ｓ３９の処理を行い、ビット列検出部２４が所定の通信ビット列を検出せず（Ｓ３９でＮＯ）、所定期間経過していなければ（Ｓ４０でＮＯ）、ｎ＝ｎ＋１とし（Ｓ４１）、再度Ｓ３５〜Ｓ３９の処理を繰り返す。

ここで、Ｓ３９において、ビット列検出部２４が所定の通信ビット列を検出すると（Ｓ３９でＹＥＳ）、検出した通信ビット列と、通信ビット列が検出された領域を示す領域情報とを位置特定部２５に出力する。ここでは、領域（１，２）に通信ビット列「１０１１０１」が検出されたものとする。

位置特定部２５は、ビット列検出部２４から通信ビット列「１０１１０１」を取得すると、装置出力情報ＤＣに含まれるテレビ２ｃを示す装置識別情報と、領域情報とを対応付けて装置位置情報を生成する（Ｓ４３）。

ここでは、位置特定部２５は、テレビ２のＩＰアドレスを装置識別情報とし、領域（ｉ，ｊ）の画像上の位置を示す座標を領域情報として、装置位置情報を生成するものとする。つまり、位置特定部２５は、テレビ２ｃのＩＰアドレス「192.168.0.21」を示す装置識別情報と、領域（１，２）の画像上の位置を示す座標「ｘ＝２０，ｙ＝２０」を示す領域情報とを対応付けて装置位置情報ＥＣを生成する。

なお、Ｓ３２またはＳ４２において、光通信制御部２７は、情報通信システム３ｂに含まれるテレビ２の中から、予め定められた順番に従ってテレビ２を選択してもよいし、ランダムに順に選択してもよい。また、光通信制御部２７は、ユーザの指示に従って、テレビ２を順に選択してもよい。

また、図１６に示すように、テレビ２の光通信処理部４２は、まず、携帯電話機１から通信情報出力指示を送信されるのを待つ（Ｓ５１）。ここで、光通信処理部４２が通信情報出力指示を受信しない場合（Ｓ５１でＮＯ）、引き続き、コンテンツ取得部４１が取得した映像信号に基づいて、表示制御部４４は、輝度を変化させずに、そのまま映像コンテンツを表示部３５に表示する。

一方、光通信処理部４２が通信情報出力指示を受信すると（Ｓ５１でＹＥＳ）、記憶部３２からビット列変換テーブルおよびビット値変換テーブルを読み出し、読み出したビット列変換テーブルおよびビット値変換テーブルを参照して、通信情報出力指示に含まれる所定の通信情報を、輝度変化を示す輝度変化遷移情報に変換する（Ｓ５２）。そして、光通信処理部４２は、変換した輝度変化遷移情報に基づいて画像の輝度値を変化するように表示制御部４４に指示する。

輝度制御部４６は、光通信処理部４２からの指示に基づき、輝度変化遷移情報の示す輝度変化に従って、画像生成部４５が生成した画像の輝度値を変化させて表示部３５に表示する（Ｓ５３）。

〔実施例３〕
次に、テレビ２から携帯電話機１へ光通信で通信情報が伝送される際の携帯電話機１およびテレビ２における処理の他の一例（実施例３）について、図１７〜図１９に基づいて説明する。

図１７は、実施例３における情報通信システム３ｃの概要を示す図である。図１７に示すように、情報通信システム３ｃは、携帯電話機１、テレビ２ｅ、テレビ２ｆおよびＷｉ−Ｆｉアクセスポイント４を含む。なお、以下では、テレビ２ｅおよびテレビ２ｆを総称する場合、テレビ２と称する。

前提として、携帯電話機１およびテレビ２は、互いのＩＰアドレスは既知であるが、互いにどの位置に存在するかは認識できていないこととする。なお、携帯電話機１のＩＰアドレスを「192.168.0.10」とし、テレビ２ｅのＩＰアドレスを「192.168.0.21」とし、テレビ２ｆのＩＰアドレスを「192.168.0.22」とする。

実施例３では、テレビ２ｅおよびテレビ２ｆが、各テレビ２に固有に定められた通信情報を定期的に光通信で出力しており、携帯電話機１が輝度変化による光通信を用いてテレビ２ａおよびテレビ２ｂの位置を特定する例を説明する。本実施例では、携帯電話機１が、テレビ２ｅおよびテレビ２ｆに対して、出力情報送信指示を送信する。

本実施例では、テレビ２ｅおよびテレビ２ｆは、表示部３５に映像コンテンツを表示しているものとする。また、テレビ２ｅは、光通信で通信情報「Ａ」を出力するように設定されており、テレビ２ｆは、光通信で通信情報「Ｂ」を出力するように設定されているものとする。

なお、図１７では、テレビ２ｅおよびテレビ２ｆに「Ａ」、「Ｂ」が表示されているように描かれているが、これは説明の便宜を図るためである。実際には、テレビ２ｅおよびテレビ２ｆは、画像として「Ａ」、「Ｂ」を表示するのではなく、通信情報「Ａ」、通信情報「Ｂ」をそれぞれ示す輝度変化に代えて通信情報を出力する。

以下に、図１８および図１９に基づいて、携帯電話機１およびテレビ２の具体的な処理例について説明する。図１８は、携帯電話機１が輝度変化による光通信を用いてテレビ２ｅおよびテレビ２ｆの位置を特定する処理の一例を示す図である。図１９は、テレビ２が輝度変化による光通信を用いて通信情報を出力する処理の一例を示す図である。

図１８に示すように、携帯電話機１は、携帯電話機１の光通信制御部２７は、テレビ２ｅおよびテレビ２ｆに対して出力情報送信指示を送信する（Ｓ６１）。そして、光通信制御部２７は、出力情報送信指示に対する応答として、テレビ２ｅおよびテレビ２ｆから、通信内容識別情報を受信する（Ｓ６２）。

ここで、光通信制御部２７は、テレビ２ｅを示す装置識別情報と、テレビ２ｅから受信した通信内容識別情報とを対応付けた装置出力情報ＤＥと、テレビ２ｆを示す装置識別情報と、テレビ２ｆから受信した通信内容識別情報とを対応付けた装置出力情報ＤＦとを位置特定部２５に出力する。

次に、携帯電話機１は、カメラ１３を起動し（Ｓ６３）、画像取得部２１は、カメラ１３が撮像した画像を順次取得する。以下のＳ６４〜Ｓ７４は、実施例１における図１２のＳ３〜１３と同じ処理である。

すなわち、画像取得部２１が画像Ｐnを取得し、代表輝度値特定部２２が画像Ｐnを複数の領域に分割して代表輝度値行列Ｃn（ｉ，ｊ）を特定する。そして、ビット値生成部２３が代表輝度値行列Ｃn（ｉ，ｊ）からビット値行列Ｂn（ｉ，ｊ）を生成する。

次に、ビット列検出部２４がビット値行列Ｂ0〜Ｂnから所定の通信ビット列を検出すると、位置特定部２５は、ビット列検出部２４が検出した通信ビット列に対応する通信情報を特定する。そして、位置特定部２５は、取得した装置出力情報の中に、通信情報を示す通信内容識別情報を含む装置出力情報がある場合、装置出力情報に含まれるテレビ２を示す装置識別情報と、領域情報とを対応付けて装置位置情報を生成する。

ここでは、位置特定部２５は、テレビ２のＩＰアドレスを装置識別情報とし、領域（ｉ，ｊ）の画像上の位置を示す座標を領域情報として、装置位置情報を生成するものとする。また、ビット列検出部２４が、領域（１，２）に通信ビット列「１０１１０１」を検出し、さらに、領域（１，４）に通信ビット列「１０１１１０」を検出したとする。

すなわち、位置特定部２５は、テレビ２ｅのＩＰアドレス「192.168.0.21」を示す装置識別情報と、領域（１，２）の画像上の位置を示す座標「ｘ＝２０，ｙ＝２０」を示す領域情報とを対応付けて装置位置情報ＥＥを生成し、さらに、テレビ２ｆのＩＰアドレス「192.168.0.22」を示す装置識別情報と、領域（１，４）の画像上の位置を示す座標「ｘ＝８０，ｙ＝２０」を示す領域情報とを対応付けて装置位置情報ＥＦを生成する。

また、図１９に示すように、テレビ２の光通信処理部４２は、自装置に予め定められた通信情報に対応する輝度変化遷移情報に基づいて、画像の輝度値を変化するように表示制御部４４に定期的に指示する。輝度制御部４６は、光通信処理部４２からの指示に基づき、輝度変化遷移情報の示す輝度変化に従って、画像生成部４５が生成した画像の輝度値を変化させて表示部３５に表示する（Ｓ８１）。

この状態において、光通信処理部４２は、携帯電話機１から出力情報送信指示が送信されるのを待つ（Ｓ８２）。携帯電話機１から出力情報送信指示が送信されると（Ｓ８２でＹＥＳ）、光通信処理部４２は、出力情報送信指示に対する応答として、自装置に予め定められた通信情報の内容を示す通信内容識別情報を携帯電話機１に送信する（Ｓ８３）。

〔画面表示例１〕
次に、携帯電話機１がカメラ１３で撮像した画像上におけるテレビ２の位置を特定した後、表示部１５に表示する画面の一例を図２０に基づいて説明する。図２０は、携帯電話機１の表示部１５に表示される画面の一例を示す図である。

図２０に示す画面例は、携帯電話機１が、自身が保持するコンテンツを送信する送信先の装置をユーザに選択させるための画面である。より具体的には、図２０に示すように、ユーザに２つのテレビのうち、どちらのテレビ２に携帯電話機１が保持するコンテンツを表示させるかを選択させるための画面である。

ここで、コンテンツを表示させるテレビ２として、テレビ２ａおよびテレビ２ｂがあるものとする。また、実施例１で例示したように、携帯電話機１が装置位置情報ＥＡおよび装置位置情報ＥＢを生成したとする。

このとき、携帯電話機１の表示制御部２６は、装置位置情報に含まれる領域情報の示す領域に対応する表示部１５の画面の表示位置に、当該領域情報に対応する装置情報の示す装置に関する装置関連情報を表示する。具体的には、表示制御部２６は、装置位置情報ＥＡに含まれる領域情報の示す領域（１，２）に対応する表示部１５の画面の表示位置に、テレビ２ａのアイコンを表示する。また、表示制御部２６は、装置位置情報ＥＢに含まれる領域情報の示す領域（１，４）に対応する表示部１５の画面の表示位置に、テレビ２ｂのアイコンを表示する。

すなわち、表示制御部２６は、左側にテレビ２ａのアイコンを配置し、右側にテレビ２ｂのアイコンを配置して、ユーザにテレビ２を選択させるための画像を表示する。

このように、カメラ１３で撮像した画像に写っているテレビ２の位置に対応させて、テレビ２に関する装置関連情報を表示することにより、ユーザが直感的にかつ簡単に操作することができる。

〔画面表示例２〕
次に、携帯電話機１がカメラ１３で撮像した画像上におけるテレビ２の位置を特定した後、表示部１５に表示する画面の他の一例を図２１に基づいて説明する。図２１は、携帯電話機１の表示部１５に表示される画面の一例を示す図である。

図２１に示す画面例は、携帯電話機１が、テレビ２をカメラ１３で撮像した画像をリアルタイムで表示し、その撮像した画像に重畳させて、テレビ２に関する装置関連情報を表示している画面である。図２１に示す画面例は、いわゆる拡張現実を表示した画面である。

ここで、上記の例と同様に、テレビ２ａおよびテレビ２ｂをカメラ１３で撮像しているものとする。また、実施例１で例示したように、携帯電話機１が装置位置情報ＥＡおよび装置位置情報ＥＢを生成したとする。

このとき、携帯電話機１の表示制御部２６は、装置位置情報に含まれる領域情報の示す領域に対応する表示部１５の画面の表示位置に、画像取得部２１がカメラ１３から取得した画像に重畳させて、当該領域情報に対応する装置情報の示す装置に関する装置関連情報を表示する。

具体的には、表示制御部２６は、装置位置情報ＥＡに含まれる領域情報の示す領域（１，２）に対応する表示部１５の画面の表示位置に、画像取得部２１がカメラ１３から取得した画像に重畳させて、テレビ２ａの機能を示すテキスト情報を表示する。また、表示制御部２６は、装置位置情報ＥＢに含まれる領域情報の示す領域（１，４）に対応する表示部１５の画面の表示位置に、画像取得部２１がカメラ１３から取得した画像に重畳させて、テレビ２ｂが保持するコンテンツを示すテキスト情報を表示する。

なお、テレビ２の装置関連情報を装置位置情報に含まれる領域情報の示す領域に対応する画面上の位置に重畳させて表示するのではなく、図２１に示すように表示させてもよい。すなわち、装置位置情報に含まれる領域情報の示す領域に対応する画面上の位置、つまり、テレビ２が表示されている位置から引き出し線を描画し、テレビ２が表示されている位置から離れた位置にテレビ２の装置関連情報を表示してもよい。

また、装置関連情報の表示方法はこれに限らず、装置位置情報に含まれる領域情報の示す領域に対応する画面上の位置と、当該領域情報に対応する装置情報の示す装置に関する装置関連情報との対応関係が示されていれば、装置関連情報はどのように表示してもよい。

まとめると、携帯電話機１の表示制御部２６は、装置位置情報に含まれる領域情報の示す領域に対応する画像上の位置に重畳させて、または当該位置に対応付けて、当該領域情報に対応する装置情報の示す装置に関する装置関連情報を表示する。

このように、カメラ１３がテレビ２を撮像した画像を表示する際に、テレビ２が描画されている位置にテレビ２に関する装置関連情報を表示することができる。すなわち、拡張現実を表示することができる。よって、ユーザが直感的に理解することができる画面を表示することができる。

〔変形例１〕
本実施形態では、位置特定部２５が、所定の領域から検出された通信ビット列に対応する通信情報を特定しているが、これに限るものではない。

例えば、画像を６４×６４の領域に分割し、画像上の所定の範囲内に含まれる複数の領域から同一の通信ビット列を検出した場合に、位置特定部２５が、当該通信ビット列に対応する通信情報を特定してもよい。

画像を分割する領域数を多くすると、画像上における通信情報が検出された位置を高精度に特定することができるが、各領域に含まれる画素数が少なくなるためノイズの影響を受けやすくなる。しかしながら、上記のように、複数の領域で実質的に同一の輝度変化を検出した場合にその輝度変化がテレビ２から送信された通信情報に対応する輝度変化であると判断することにより、画像を分割する領域数を多くしたとしても、ノイズの影響を低減することができ、高精度に通信情報を検出することができる。

〔変形例２〕
ここで、事前に想定された分割領域を大きく超えるような動きがあった場合でも通信情報の検出を行えるようにするために、動きベクトルを用いた方法について説明する。動きベクトルは、映像において、基準となるフレームからの物体の移動距離および移動方向を表すものであり、MPEG4などの動画圧縮技術等にも用いられているものである。この動きベクトルを本発明に利用する例を以下に示す。

例えば、フレームｎ−２、フレームｎ−１、フレームｎにおいて、取得された画像内のテレビ２（被写体）の位置（例えば左上端の位置）の座標値がそれぞれ（３００，５００）、（２５０，５００）、（２８０，４３０）と変わったとき、代表輝度知特定部２２の画像処理により推定される、フレームｎ−２を基準とした、テレビ２の動きベクトルは、フレームｎ−１で（−５０，０）、フレームｎで（−２０，−７０）となる。

ここで、フレームｎ−２を基準として、フレームｎ−１のテレビ２については座標値で（５０，０）だけ移動する補正が行われ、フレームｎについては座標値で（２０，７０）だけ移動する補正が行われる。そして、この補正後の画像において、各分割領域の代表輝度値が比較される。なお、この比較においては必ずしも領域を分割して比較する必要は無く、上記の動きベクトルにより各フレームで補正されたテレビ２の占める領域について、輝度を比較するようにしても良い。

このように、取得された画像を動きベクトルを用いて補正することにより、撮影範囲や撮影対象が各分割領域の大きさを超えて激しく動いたとしても、通信情報を精度良く検出することができる。また、撮影範囲や撮影対象が動いたことによる画像の輝度変化を補正するため、明信号および暗信号を検出するための条件を厳しくすることができる。すなわち、第１条件および第２条件におけるαおよびβの値を小さくすることができる。これにより、ビット値を誤検出することを低減することができる。

また、本実施形態では、画像を複数の領域に分割し、所定の輝度変化が検出された領域を、通信情報が検出された領域として特定しているが、これに限るものではない。例えば、動きベクトルの情報に含まれる画像上の座標を示す情報に基づいて、通信情報が検出された位置を特定してもよい。

例えば、特開2008-236096号公報によれば、複数の参照画像から動きベクトルを検出する際に、ブロックサイズを変更し、最適なブロックサイズを決定しつつ最終的な動きベクトルを検出することが出来る。この経緯で得られる動きベクトルと最適なブロックサイズは、複数画像間で対応関係にある領域の情報（位置およびサイズ）を特定することになる。ブロックサイズは8x8, 16x16に限定されず、任意のサイズに拡張できることは明らかである。このような特定を、各ベクトル毎に行って保持し、それぞれに対して代表値輝度を算出し、通信情報を検出することで、その通信情報と領域情報とを対応づけてもよい。

〔補足〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、携帯電話機１およびテレビ２の各ブロック、特に制御部１１および制御部３１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、携帯電話機１およびテレビ２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである携帯電話機１およびテレビ２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、携帯電話機１およびテレビ２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、携帯電話機１およびテレビ２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、携帯電話機等のカメラを搭載した装置およびテレビ等の画像を表示する表示装置に利用することができ、拡張現実を実現するシステムまたは装置に好適に利用することができる。

１ 携帯電話機（情報取得装置）
２ テレビ（情報出力装置、表示装置）
３ 情報通信システム
１３ カメラ
１５ 表示部
２１ 画像取得部（画像取得手段）
２２ 代表輝度値特定部（代表輝度値特定手段）
２３ ビット値生成部
２４ ビット列検出部（輝度変化検出手段）
２５ 位置特定部（通信情報特定手段、位置情報生成手段）
２６ 表示制御部（表示制御手段）
２７ 光通信制御部（送信手段、受信手段）
３５ 表示部
４２ 光通信処理部（情報変換手段）
４６ 輝度制御部（輝度値調整手段）

Claims (15)

1. 動画または静止画を表示している表示画面をカメラにより撮像した画像を順次取得する画像取得手段と、
   上記画像取得手段が取得した画像から、代表輝度値を特定する代表輝度値特定手段と、
   変換情報には、通信情報と、所定期間における輝度変化とが１または複数組対応付けられており、
   上記順次取得した複数の画像から、それぞれ上記代表輝度値特定手段が特定した複数の代表輝度値によって特定される輝度変化に一致する輝度変化を、上記変換情報から検出する輝度変化検出手段と、
   上記変換情報から、上記輝度変化検出手段が検出した輝度変化に対応付けられている通信情報を特定する通信情報特定手段とを備えることを特徴とする情報取得装置。
2. 上記通信情報特定手段が特定した通信情報と、上記輝度変化検出手段が当該通信情報に対応する輝度変化を検出した領域を示す領域情報とを対応付けて取得する位置情報生成手段をさらに備えることを特徴とする請求項１に記載の情報取得装置。
3. 上記表示画面を備える表示装置に対して、当該表示装置に対応付けられた通信情報を送信する送信手段をさらに備え、
   上記位置情報生成手段は、上記送信手段が送信し、上記通信情報特定手段が特定した通信情報に対応する領域情報に、上記表示装置を示す装置情報を対応付けて、装置位置情報を生成することを特徴とする請求項２に記載の情報取得装置。
4. 上記表示画面を備える表示装置から、当該表示装置に対応付けられた通信情報を受信する受信手段をさらに備え、
   上記位置情報生成手段は、上記受信手段が受信し、上記通信情報特定手段が特定した通信情報に対応する領域情報に、上記表示装置を示す装置情報を対応付けて、装置位置情報を生成することを特徴とする請求項２に記載の情報取得装置。
5. 上記代表輝度値特定手段は、上記画像取得手段が取得した画像を複数の領域に分割し、分割して得られる領域毎に、当該領域に含まれる各画素の輝度値から、当該領域の代表輝度値を特定し、
   上記輝度変化検出手段は、上記順次取得した複数の画像の同一領域から、それぞれ上記代表輝度値特定手段が特定した複数の代表輝度値によって特定される輝度変化に一致する輝度変化を、上記変換情報から検出することを特徴とする請求項１〜４の何れか１項に記載の情報取得装置。
6. 上記代表輝度値特定手段は、上記画像取得手段が順次取得した複数の画像から被写体の動きベクトルを検出し、動きベクトルによる補正後の画像に対して複数の領域に分割することを特徴とする請求項５に記載の情報取得装置。
7. 上記通信情報特定手段は、上記輝度変化検出手段が、画像上の所定の範囲内に含まれる複数の領域から同一の輝度変化を検出した場合に、当該輝度変化に対応付けられている通信情報を特定することを特徴とする請求項５または６に記載の情報取得装置。
8. 表示部と、
   上記装置位置情報に含まれる領域情報の示す領域に対応する上記表示部の画面の表示位置に、当該領域情報に対応する装置情報の示す表示装置に関する表示装置関連情報を表示する表示制御手段とをさらに備えることを特徴とする請求項３または４に記載の情報取得装置。
9. 上記表示制御手段は、上記画像取得手段が取得した画像に重畳させて、上記表示装置関連情報を表示することを特徴とする請求項８に記載の情報取得装置。
10. 表示部を備え、当該表示部に動画または静止画を表示する情報出力装置であって、
    通信情報を、上記表示部が出力する輝度値の所定期間における輝度変化を示す輝度変化遷移情報に変換する情報変換手段と、
    上記情報変換手段が変換した輝度変化遷移情報の示す輝度変化に従って、所定期間、上記動画または静止画の輝度値を調整して上記表示部に表示する輝度値調整手段とを備えることを特徴とする情報出力装置。
11. 動画または静止画を表示している表示画面をカメラにより撮像した画像を順次取得する画像取得ステップと、
    上記画像取得ステップにおいて取得された画像から、代表輝度値を特定する代表輝度値特定ステップと、
    変換情報には、通信情報と、所定期間における輝度変化とが１または複数組対応付けられており、
    上記順次取得された複数の画像から、それぞれ上記代表輝度値特定ステップにおいて特定された複数の代表輝度値によって特定される輝度変化に一致する輝度変化を、上記変換情報から検出する輝度変化検出ステップと、
    上記変換情報から、上記輝度変化検出ステップにおいて検出された輝度変化に対応付けられている通信情報を特定する通信情報特定ステップとを含むことを特徴とする情報取得方法。
12. 表示部を備え、当該表示部に動画または静止画を表示する情報出力装置の情報出力方法であって、
    通信情報を、上記表示部が出力する輝度値の所定期間における輝度変化を示す輝度変化遷移情報に変換する情報変換ステップと、
    上記情報変換ステップにおいて変換された輝度変化遷移情報の示す輝度変化に従って、所定期間、上記動画または静止画の輝度値を調整して上記表示部に表示する輝度値調整ステップとを含むことを特徴とする情報出力方法。
13. 請求項１〜９の何れか１項に記載の情報取得装置と、
    請求項１０に記載の情報出力装置とを含むことを特徴とする情報通信システム。
14. 請求項１〜９の何れか１項に記載の情報取得装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
15. 請求項１０に記載の情報出力装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。

Images