WO2011155130A1

WO2011155130A1 - 情報表示装置、表示制御用集積回路、及び表示制御方法

Info

Publication number: WO2011155130A1
Application number: PCT/JP2011/002743
Authority: WO
Inventors: 幸司中西; 山田　和範
Original assignee: パナソニック株式会社
Priority date: 2010-06-08
Filing date: 2011-05-17
Publication date: 2011-12-15
Also published as: US8941686B2; CN102474570A; CN102474570B; US20120133815A1; JP5619885B2; JPWO2011155130A1

Abstract

　情報表示装置は、可視光通信を行って、時系列的に撮像される画像に、光源から送られてきた光源情報を重畳して画面に表示する。情報表示装置は、撮影範囲内の画像を撮像する撮像部と、画像内にある光源から送られてくる光源情報を逐次キャッシュするキャッシュメモリと、キャッシュメモリにキャッシュされている光源情報を、現在の撮影範囲に近い光源の順に、優先度を高く設定していく優先度設定部と、キャッシュメモリにキャッシュされている光源情報の中で、優先度の低い光源情報から順に削除していく通信情報処理部とを備える。

Description

情報表示装置、表示制御用集積回路、及び表示制御方法

　本発明は、時系列的に撮像される画像に表示用の情報を重ねて表示させる情報表示装置に関し、より特定的には、キャッシュメモリを有効に活用し、装置全体のパフォーマンスを上げるための技術に関する。

　イメージセンサを用いて、撮像範囲内の情報発信源(光源)から、可視光通信で得た情報を撮像画像に重畳してユーザに表示する装置が知られている。特許文献１には、店頭に並べられた商品の陳列棚や市中の広告看板などに併設された情報発信源から、輝度変化による商品や広告看板に適合した内容の提示情報が発信され、撮像装置が、画像を時系列的に撮像し、画像領域毎の輝度変化からそれぞれ提示情報を抽出し、抽出した提示情報を撮像した画像に重畳して表示することにより、情報提示対象品とその提示情報との対応関係を明確にして情報把握の誤解をなくすことができると記載されている。

　しかし、このような撮像装置は、撮影範囲に入った情報発信源(光源)からしか情報取得できない。そのため、光源からの情報が大きいと、撮影してから情報を重畳表示するまでに一定時間待つ必要がある。撮影者が移動しながら撮影を行っているような場合には、撮影範囲が変化し、情報発信源の入れ替わりが頻繁に発生する。ここで撮影範囲が変化して、新しい情報発信源が撮影されたときには通信処理が発生し、当然ながらこの処理が完了するまでは新しい情報発信源に関する提示情報を表示することができない。

　ところが、同じ情報発信源が撮影範囲に入ったり撮影範囲から外れたりといったことが頻繁に起こると、情報発信源が撮影範囲に入る度に同じ情報を取得するために通信処理が発生して待ち時間が生じることになり、装置全体のパフォーマンスを下げてしまうという問題が発生する。このような問題を解決するには、例えば撮影範囲に入ったときに情報発信源から取得した提示情報を撮影範囲から外れてもキャッシュメモリに保存しておき、再び同じ情報発信源が撮影範囲に入ったときには、キャッシュメモリから提示情報を読み出して再利用するという方法が知られている。

　また、高速且つ高精度にて光軸調整することができる光無線伝送システムが特許文献２に開示されている。特許文献２には、天井などに設置された親機が信号伝送用の狭指向性光と光軸合わせ用の広指向性光とを同軸で制御して送信し、デスクなどに置かれた光無線伝送装置が第１の方向検出部により高速に親機の位置を特定し、第２の方向検出部により高精度に親機の位置を特定することにより、コストアップを招くことなく装置の小型化をはかることができ、光通信における光軸調整を高速且つ高精度に行うことができると記載されている。

特開２００１－２４５２５３号公報特開２００４－３４９７９７号公報

　上記キャッシュメモリを用いる方法においては、一般にキャッシュに用いるメモリの容量が決まっているので、キャッシュメモリを有効に活用するために、キャッシュされた時間が最も古い情報やアクセス回数の最も少ない情報が記憶された領域から順に、新しい情報が上書きされて記録され、以前の情報は順次消去される。ユーザが移動しながら撮影すると、撮影範囲の変化に伴って撮影される光源も変化し、同じ光源も繰り返し撮影される。一度撮影した光源をキャッシュすることで再取得時の表示時間短縮や通信コスト削減が可能だが、従来のようなキャッシュ方法(ＦＩＦＯやＬＩＬＯなど)では、一定方向への移動などの特定の条件下でしか効力がない。

　例えば、キャッシュされた情報のうちの、時間が古い情報ほど優先度を低く（キャッシュから消去されやすく）する場合、撮影者が右方向に移動しながら市中を撮影している途中で撮影を一時停止した状態にすると、一時停止した場所から左方向に離れた情報発信源であるほどその情報発信源に関する情報の優先度が低くなる。そこで引き続き一時停止前に撮影した箇所よりも左側から撮影を再開し、再び右方向に移動しながら撮影すると、撮影範囲に近い情報発信源に関する情報の優先度が、撮影範囲から遠い情報発信源に関する情報の優先度よりも低い状態となる。

　従って、撮影範囲に近い情報発信源に関する情報であっても撮影された順番が古い場合は、すぐにでも撮影範囲に入るかもしれないにもかかわらず、真っ先にキャッシュメモリから消去されてしまい、再度撮影範囲に入っても情報表示まで初回撮影時と同等の通信時間およびコストがかかるという大変望ましくない状態となる。このように一時停止をはさみながら近辺で撮影を繰り返すような場合には、キャッシュメモリを有効に活用することができない状態となることがある。

　そしてこのような状態になると、一度取得した情報を再度取得するために通信処理が発生して待ち時間が生じる可能性が高くなり、応答性やメモリ効率が低下し装置全体のパフォーマンスが下がってしまう。そしてこのような状態においても十分なパフォーマンスを確保しようとすれば、処理速度が速い高性能な構成を備える必要が生じ、コストが増大してしまうという問題がある。

　また、特許文献２の光無線伝送システムにおいては、ユーザが手に持って歩きながら使用するようなモバイル機器に適用する場合を想定すると、受光部の方向や位置がダイナミックに変動するため、段階的に光軸を合わせることが大変難しくなるので実用的ではない。

　それ故に、本発明は、一度撮影された光源のキャッシュヒット率を上げてユーザの表示待ち時間及び通信コストを削減することができる情報表示装置、表示制御用集積回路、及び表示制御方法を提供することを目的とする。

　本発明は、情報表示装置、表示制御用集積回路、及び表示制御方法に向けられている。そして上記課題を解決するために、本発明の情報表示装置は、可視光通信を行って、時系列的に撮像される画像に、光源から送られてきた光源情報を重畳して画面に表示する情報表示装置であって、撮影範囲内の画像を撮像する撮像部と、画像内にある光源から送られてくる光源情報を逐次キャッシュするキャッシュメモリと、キャッシュメモリにキャッシュされている光源情報を、現在の撮影範囲に近い光源の順に、優先度を高く設定していく優先度設定部と、キャッシュメモリにキャッシュされている光源情報の中で、優先度の低い光源情報から順に削除していく通信情報処理部とを備える。

　好ましくは、情報表示装置において、優先度設定部は、現在の撮影範囲に近い光源か否かを、現在の撮影範囲の中心から光源の中心までの距離の値、又は、距離を量子化した値が小さいか否かで判断するとよい。

　好ましくは、情報表示装置は、さらに、画像内にある光源の座標と面積の変化から移動特性を予測する移動特性予測部を備え、優先度設定部は、移動特性に基づいて光源の中心の座標を補正し、現在の撮影範囲の中心から補正した光源の中心の座標までの距離が近いか否かで、現在の撮影範囲に近い光源か否かを判断するとよい。

　好ましくは、情報表示装置は、キャッシュメモリにキャッシュされている光源の中で優先度が高く、かつ、現在の撮影範囲外にある光源の光源情報についても、画面に表示するとよい。

　また上記課題を解決するために、本発明の情報表示方法は、可視光通信を行って、時系列的に撮像される画像に、光源から送られてきた光源情報を重畳して画面に表示する情報表示方法であって、撮影範囲内の画像を撮像するステップと、画像内にある光源から送られてくる光源情報を逐次キャッシュメモリにキャッシュするステップと、キャッシュメモリにキャッシュされている光源情報を、現在の撮影範囲に近い光源の順に、優先度を高く設定していくステップと、キャッシュメモリにキャッシュされている光源情報の中で、優先度の低い光源情報から順に削除していくステップとを備える。

　また上記課題を解決するために、本発明の集積回路は、可視光通信を行って、時系列的に撮像される画像に、光源から送られてきた光源情報を重畳して画面に表示する情報表示装置に用いられる集積回路であって、撮影範囲内の画像内にある光源から送られてくる光源情報を逐次キャッシュするキャッシュメモリと、キャッシュメモリにキャッシュされている光源情報を、現在の撮影範囲に近い光源の順に、優先度を高く設定していく優先度設定部と、キャッシュメモリにキャッシュされている光源情報の中で、優先度の低い光源情報から順に削除していく通信情報処理部とを備える。

　以上のように、本発明によれば、一度撮影された光源のキャッシュヒット率を上げてユーザの表示待ち時間及び通信コストを削減することができる情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法を提供できる。

図１は、第１の実施形態における情報表示システム１の機能構成の概要を示す図である。図２は、情報発信源１００から情報表示装置２００へ向けて光の強弱により発信される、通信情報のデータフォーマットの一例を示す図である。図３は、本実施形態における、発信源領域検出処理から、発信源領域情報処理、及び、表示用の情報を撮影した画像に重畳して表示させる表示用処理までの一連の手順を示す図である。図４は、ステップＳ７の発信源領域情報処理を行うサブルーチンの一連の手順を示す図である。図５は、ステップＳ１８のキャッシュメモリの優先度算出処理を行うサブルーチンの一連の手順を示す図である。図６は、ステップＳ３４の優先度算出処理の概要を示す図である。図７は、キャッシュ優先度の利用例の概略を示す図（その１）である。図８は、キャッシュ優先度の利用例の概略を示す図（その２）である。図９は、キャッシュ優先度の利用例の概略を示す図（その３）である。図１０は、キャッシュ優先度の利用例の概略を示す図（その４）である。図１１は、キャッシュ優先度の利用例の概略を示す図（その５）である。図１２は、キャッシュ優先度の利用例の概略を示す図（その６）である。図１３は、第２の実施形態における情報表示システム２の機能構成の概要を示す図である。図１４は、図３におけるステップＳ７の発信源領域情報処理を行うサブルーチンの一連の手順を示す図である。図１５は、図１４におけるステップＳ４２の発信源移動特性予測処理を行うサブルーチンの一連の手順を示す図である。図１６は、撮像部２１０により撮像された画像の枠外に、通信情報処理部２２６により抽出された撮像範囲外の発信源に関連する表示用情報を合成して、表示デバイス３００に表示させた画面の例を示す図である。

　［第１の実施形態］
　　＜概要＞
　第１の実施形態における情報表示装置２００は、光源の位置（撮影画角中心からの相対距離を算出）と光源からの通信内容、撮影条件（撮影角度、撮影方向、移動方向、移動量）をキャッシュしておき、常に、光源の位置を更新しつつ、一度撮影された発信源の中で、撮影範囲からは外れているが撮影範囲に容易に再入する位置にある撮影画角に近い発信源に関する情報に対して高いキャッシュ優先度を付与するものである。第１の実施形態によれば、表示画像に重畳される情報の応答性の向上や、キャッシュ利用率の向上を図ることができる。

　　＜構成＞
　図１は、第１の実施形態における情報表示システム１の機能構成の概要を示す図である。
　図１に示す情報表示システム１は、情報発信源１００、情報表示装置２００、及び表示デバイス３００から構成されている。

　情報発信源１００は、店頭に並べられた商品の陳列棚や市中の広告看板などに併設された据え置き型の電子機器であり、表示用の情報を光源情報として発信する機能を有し、識別情報記録部１１０、通信データ生成部１２０、変調器１３０、及び発信用光源１４０を含む。
　情報表示装置２００は、例えば、デジタルカメラやカメラ付き携帯電話などの撮像機能を備えた携帯電子機器であり、光無線通信で表示用の情報を得て、撮影した映像に表示用の情報を重畳して表示させる機能を有し、撮像部２１０、情報処理部２２０、表示制御部２３０、位置座標取得部２４０、及び方位角度取得部２５０を備える。
　表示デバイス３００は、液晶モニタ等の画像表示装置である。

　識別情報記録部１１０は、情報発信源を一意に特定する固体識別情報を記録する。ここで、隣接する複数の情報発信源１００の識別情報記録部１１０がそれぞれ同一の固体識別情報を記録する場合があり、このような場合には、同一の固体識別情報を記録する複数の情報発信源１００は、同じタイミングで同一の情報を発信し、これらを同一の情報発信源として取り扱うことができるものとする。
　通信データ生成部１２０は、情報表示装置２００において表示させるべき、表示用の情報を生成する。

　変調器１３０は、識別情報記録部１１０に記録された固体識別情報と、通信データ生成部１２０により生成された表示用の情報とを電気信号に変換する。
　発信用光源１４０は、ＬＥＤや蛍光灯などの、ある程度以上の比較的強度のある光を発信できるデバイスであり、変調器１３０により変換された電気信号を用いて、情報表示装置２００に向けて、光の強弱により固体識別情報と表示用の情報とを含む通信情報を発信する。

　撮像部２１０は、画像を時系列的に撮像するものであり、入力する光の結像状態を調整するレンズ２１１と、レンズ２１１を通して取得した光の強弱を電気信号に変換して光電変換情報を生成し、これを順次情報処理部２２０へ向けて出力することによって画像を撮像するイメージセンサ２１２とを含む。なお、ここでは光電変換素子としてイメージセンサを用いたが、これに限られるものではなく、光の強弱を輝度情報として電気信号に変換することができれば何であってもよい。例えば、撮像部２１０は、イメージセンサ２１２の代わりに、２次元平面に配列されたフォトダイオードを含んでいてもよい。

　情報処理部２２０は、撮像部２１０により撮像された画像の中から、時間の経過とともに輝度が所定のパターンで変化する発信源領域を全て特定し、ここで特定した１又は複数の発信源領域から、発信源領域毎の輝度の変化に基づいて、発信源領域毎に通信情報を抽出するものであり、取得情報処理部２２１、画像情報処理部２２２、キャッシュメモリ２２３、識別情報抽出部２２４、存在判定部２２５、通信情報処理部２２６、及び優先度設定部２２７を含む。

　表示制御部２３０は、情報処理部２２０により抽出された領域毎の通信情報に含まれる表示用の情報を、撮像部２１０により撮像された画像に重畳して、輝度やサイズなどを調整して外部の表示デバイス３００に表示させるものであり、表示用情報生成部２３１、及び画像重畳部２３２を含む。
　位置座標取得部２４０は、例えばＧＰＳなどの絶対位置を取得することができる機能を備え、現在の撮影座標を取得する。
　方位角度取得部２５０は、例えばジャイロなどの方位や角度等を取得することができる機能を備え、現在の撮影方向を取得する。

　取得情報処理部２２１は、撮像部２１０のイメージセンサ２１２により生成された光電変換情報に基づいて、画像解析に用いるための画像情報を抽出して、これを画像情報処理部２２２へ向けて出力する。また取得情報処理部２２１は、情報発信源の光源を特定して光源毎に発信源領域を設定し、ここで設定した発信源領域毎に、対応する時系列的な輝度の変化を示す輝度情報を抽出して、設定した発信源領域を示す領域情報と、抽出した輝度情報とを対応付けて識別情報抽出部２２４、及び通信情報処理部２２６へ向けて出力する。

　画像情報処理部２２２は、取得情報処理部２２１により抽出された画像情報に対して、画像を画面に出力するために必要な色空間変換や画角調整などの画像情報処理を施して表示用の調整を施し、これを画像重畳部２３２へ向けて出力する。
　キャッシュメモリ２２３は、過去に撮像された画像中の情報発信源に対応する表示用の情報と、当該情報発信源を一意に特定する固体識別情報との組を保持する。

　識別情報抽出部２２４は、取得情報処理部２２１により抽出された領域情報が示す発信源領域毎に、取得情報処理部２２１により抽出された輝度情報が示す時系列的な輝度の変化を、‘０’と‘１’のいずれかのビットとして認識することによって、発信源領域毎に固体識別情報を抽出する。
　存在判定部２２５は、識別情報抽出部２２４により抽出された固体識別情報毎に、当該固体識別情報がキャッシュメモリ２２３に存在するか否かを判定する。

　通信情報処理部２２６は、存在判定部２２５により存在しないと判定された固体識別情報に関しては、取得情報処理部２２１により抽出された領域情報が示す発信源領域毎に、取得情報処理部２２１により抽出された輝度情報が示す時系列的な輝度の変化を、‘０’と‘１’のいずれかのビットとして認識することによって、対応する表示用の情報を抽出し、当該表示情報を対応する識別情報と組にしてキャッシュメモリ２２３に保存し、存在判定部２２５により存在すると判定された固体識別情報に関しては、キャッシュメモリ２２３から対応する表示用の情報を抽出する。
　また存在判定部２２５は、識別情報抽出部２２４により抽出された固体識別情報以外の固体識別情報がキャッシュメモリ２２３に存在するか否かを判定する。

　優先度設定部２２７は、識別情報抽出部２２４により抽出された固体識別情報以外の固体識別情報がキャッシュメモリ２２３に存在すると、存在判定部２２５において判定された場合にキャッシュメモリ２２３に保持されている組毎に、対応する発信源領域が、撮影画角に近いか否かの度合いに応じて、当該組を消去する順序を決める際の指標となるキャッシュ優先度を設定する。詳細は以下の動作の欄、及び使用例の欄において説明する。

　表示用情報生成部２３１は、識別情報抽出部２２４により抽出された発信源領域毎の表示用の情報に基づいて、重畳用の情報とその表示態様とを決定し、これを画像重畳部２３２に向けて出力する。
　画像重畳部２３２は、画像情報処理部２２２により画像情報処理を施された画像情報に、表示用情報生成部２３１により決定された重畳用の情報を重畳し、これを表示デバイス３００へ向けて出力して、画像を表示させる。

　なお画像重畳部２３２は、発信源領域毎の表示用の情報を、それぞれの発信源領域の位置に関連付けて重畳してもよい。より具体的には、例えば発信源領域の位置に重ねて対応する表示用の情報を重畳したり、発信源領域の位置と対応する表示用の情報とを矢印付きの線等で繋いだり、あるいは発信源領域の位置から吹き出しを出してその中に対応する表示用の情報を記載する。

　図２は、情報発信源１００から情報表示装置２００へ向けて光の強弱により発信される、通信情報のデータフォーマットの一例を示す図である。ここで図中の“→”は時間Ｔの進行方向を表している。
　図２に示すように、通信情報のデータフォーマットは、プリアンブルデータ部Ｄ１０とデータ部Ｄ２０とにより構成され、情報発信源１００から繰り返し巡回的に出力される。

　プリアンブルデータ部Ｄ１０に格納されるデータは、情報表示装置２００において、表示用の情報を含む通信情報であることを認識するためのデータであり、データ部Ｄ２０の始点を表す固定のデータであるプリアンブルパターンを含んでいる。
　データ部Ｄ２０に格納されるデータは、固体識別情報格納部Ｄ２１、及び表示用情報格納部Ｄ２２により構成されている。
　固体識別情報格納部Ｄ２１に格納されるデータは、識別情報抽出部２２４により抽出される固体識別情報である。
　表示用情報格納部Ｄ２２に格納されるデータは、識別情報抽出部２２４により抽出される表示用の情報である。

　　＜動作＞
　図３は、本実施形態における、発信源領域検出処理から、発信源領域情報処理、及び、表示用の情報を撮影した画像に重畳して表示させる表示用処理までの一連の手順を示す図である。

　ステップＳ１～ステップＳ７は、発信源領域検出処理の手順である。
　（１）取得情報処理部２２１が、イメージセンサ２１２により撮像された画像のイメージをフレームデータとして、プリアンブルデータ部Ｄ１０のビット数に相当する複数のフレームデータをバッファリングする（ステップＳ１）。
　（２）ステップＳ１においてバッファリングした複数のフレームデータにおいて、輝度変化している光源が有るか否かを判断する（ステップＳ２）。

　（３）輝度変化している光源が有る場合に（ステップＳ２：ＹＥＳ）、取得情報処理部２２１が、バッファリングしたフレームデータとプリアンブルデータ部Ｄ１０中のプリアンブルパターンとを比較して、これらが一致するか否かを判断する（ステップＳ３）。
　（４）輝度変化している光源が無い場合（ステップＳ２：ＮＯ）、及び一致しない場合に（ステップＳ３：ＮＯ）、取得情報処理部２２１が、通信情報はないと判断して、バッファリングしたフレームデータを破棄し、フレームデータのバッファリング（ステップＳ１）へ戻る（ステップＳ４）。

　（５）一致する場合に（ステップＳ３：ＹＥＳ）、取得情報処理部２２１が、輝度変化をしている光源が、表示用の情報を含む通信情報を発信する光源であると特定し、画像解析に用いるための画像情報を抽出する。また、フレームデータを発信している現在の発信源領域の画像平面上における中心座標（Ｐｘ，Ｐｙ）を計算して、輝度情報と共に一時格納する（ステップＳ５）。
　（６）画像情報処理部２２２が、ここで抽出された画像情報に対して表示用の調整を施す（ステップＳ６）。

　（７）発信源領域毎に発信源領域情報処理を行い、表示用の情報を出力する（ステップＳ７）。なお、ステップＳ７は、発信源領域情報処理を行うサブルーチンであり、詳細は図４において別途記載する。
　ステップＳ８～ステップＳ１０は、画像情報に表示用の情報を重畳して表示させる重畳処理の手順である。
　（８）表示用情報生成部２３１が、ステップＳ７において出力された発信源領域毎の表示用の情報に基づいて、重畳用の情報とその表示態様とを決定する（ステップＳ８）。
　（９）画像重畳部２３２が、ステップＳ６において表示用の調整を施された画像情報に、ステップＳ８により決定された重畳用の情報を重畳する（ステップＳ９）。
　（１０）ステップＳ９において情報を重畳した画像情報を表示デバイス３００へ向けて出力して、画像を表示させる（ステップＳ１０）。

　図４は、ステップＳ７の発信源領域情報処理を行うサブルーチンの一連の手順を示す図である。
　（１）識別情報抽出部２２４が、取得情報処理部２２１により抽出された領域情報が示す発信源領域毎に、図２に示した識別情報格納部Ｄ２１に相当するビット数のデータを順次取得して、固体識別情報（ＩＤ）を復元して抽出する（ステップＳ１１）。なお、本明細書において記載した復元処理は一例であり、光通信のプロトコルが異なれば、これに応じた復元処理が行われる。
　（２）存在判定部２２５が、ステップＳ１１において識別情報抽出部２２４により抽出された固体識別情報以外の固体識別情報がキャッシュメモリ２２３に存在するか否かを判定する。（ステップＳ１２）。

　（３）抽出された固体識別情報以外の固体識別情報が存在する場合（ステップＳ１２：ＹＥＳ）は、キャッシュメモリの優先度算出処理を行う（ステップＳ１３）。
　なお、ステップＳ１３は、キャッシュメモリの優先度算出処理を行うサブルーチンであり、詳細は図５において別途記載する。
　（４）キャッシュメモリの優先度算出処理（ステップＳ１３）の終了後、あるいは、抽出された固体識別情報以外の固体識別情報が存在しない場合（ステップＳ１２：ＮＯ）は、存在判定部２２５が、ステップＳ１１において識別情報抽出部２２４により抽出された固体識別情報毎に、当該固体識別情報がキャッシュメモリ２２３に存在するか否かを判定する（ステップＳ１４）。
　（５）固体識別情報が存在する場合（ステップＳ１４：ＹＥＳ）は、キャッシュメモリ２２３から、当該固体識別情報に対応付けられた過去の発信源領域の中心座標を取得して、図３のステップＳ５において計算した現在の発信源領域の中心座標との差分から、発信源の画像平面上における移動量（ｘ軸方向ｄｘ，ｙ軸方向ｄｙ）を算出する（ステップＳ１５）。

　（６）方位角度取得部２５０から撮影向きの角速度情報（水平方向角速度ωｘ、垂直方向角速度ωｙ）を取得し、当該角速度情報と撮影間隔「ｔ」とに基づいて撮影向きの変動量（水平方向角度θｘ＝ωｘ×ｔ、垂直方向角度θｙ＝ωｙ×ｔ）を算出する（ステップＳ１６）。
　ここで「撮影向き」とは、情報表示装置２００に搭載されているレンズ２１１の法線ベクトルの方向を意味している。ステップＳ１６では、過去に撮影したときの法線ベクトルを基準とした移動角度（変動量）を水平方向角度θｘと垂直方向角度θｙで表している。
　（７）ステップＳ１５において算出した画像平面上における移動量と、ステップＳ１６において算出した撮影向きの変動量とに基づいて、三角測量方式を用いて、撮影位置から発信源までの仮距離Ｄ（＝ｄｘ÷ｔａｎθｘ＝ｄｙ÷ｔａｎθｙ）を算出する（ステップＳ１７）。

　（８）キャッシュメモリ２２３から、当該固体識別情報に対応付けられた表示用の情報を取得する（ステップＳ１８）。
　なお、ここで位置座標取得部２４０から撮影座標（緯度Ｘ、経度Ｙ、高度Ｚ）を取得して、これを用いて過去の撮影座標からの位置変動を算出することにより、撮影位置から発信源までの仮距離Ｄを修正して距離精度を高めることもできる。
　（９）固体識別情報が存在しない場合（ステップＳ１４：ＮＯ）は、識別情報抽出部２２４が図２に示した表示用情報格納部Ｄ２２に相当するビット数のデータを順次取得して、表示用の情報を復元して抽出する（ステップＳ１９）。
　（１０）通信情報処理部２２６が、位置座標取得部２４０から撮影座標（緯度Ｘ、経度Ｙ、高度Ｚ）を取得する（ステップＳ２０）。

　（１１）通信情報処理部が、ステップＳ１１において抽出された固体識別情報と、ステップＳ１９において抽出した表示用の情報と、図３のステップＳ５において計算した現在の発信源領域の中心座標と、ステップＳ２０において取得した撮影座標との組を、新たな発信源に関する情報としてキャッシュメモリ２２３に書き込む（ステップＳ２１）。
　ここで、通信情報処理部は、キャッシュメモリ２２３に空きがある場合には、空き領域に新たな発信源に関する情報を書き込み、キャッシュメモリ２２３に空きが無い場合には、ステップＳ１８において設定されたキャッシュ優先度が低い組から順に、キャッシュメモリから消去されるように書き込みを行う。例えば、キャッシュ優先度が低い組から高い組まで順番に、キャッシュメモリの実領域、あるいは仮想領域上に並べて記憶しておき、キャッシュ優先度が最も低い組が記憶された領域から、順に新しい情報を上書きする。

　図５は、ステップＳ１８のキャッシュメモリの優先度算出処理を行うサブルーチンの一連の手順を示す図である。
　（１）優先度設定部２２７が、キャッシュメモリ２２３から、ステップＳ１４における判定の対象となる発信源領域を撮影したときの仮距離Ｄと過去の発信源領域中心座標とを取得する（ステップＳ３１）。
　（２）優先度設定部２２７が、方位角度取得部２５０から現在の撮影向きの角速度を取得し、撮影間隔「ｔ」を用いて撮影向きの変動角度（＝角速度×撮影間隔）を算出する（ステップＳ３２）。

　（３）優先度設定部２２７が、仮距離Ｄと撮影向きの変動角度から三角測量方式を用いて、発信源の画像平面上における移動量（＝仮距離×ｔａｎ（変動角度））を算出し、当該移動量をキャッシュメモリ２２３から取得した過去の発信源領域中心座標に加算することにより、現在の発信源領域中心座標を推定する（ステップＳ３３）。
　なお、ここで位置座標取得部２４０から撮影座標（緯度Ｘ、経度Ｙ、高度Ｚ）を取得して、これを用いて、過去の撮影からの位置変動を算出し、撮影位置から発信源までの仮距離Ｄに修正を加えて距離精度を高めることにより、現在の発信源領域中心座標の推定精度を高めることもできる。
　（４）ここで求めた現在の発信源領域の推定中心座標と情報表示装置２００の撮像範囲の関係からキャッシュメモリ２２３に保存された情報のキャッシュ優先度を算出する。詳細は図６において説明する（ステップＳ３４）。

　なお、本実施形態では、撮影向きの変動量と画像平面上の過去の発信源領域中心座標とを用いて、三角測量方式を適用することにより現在の発信源領域の推定中心座標を求めているが、処理手順や組み合わせの変更、仰角・俯角情報、及び連続的な移動情報などの情報を追加して現在の発信源領域中心座標を推定してもよい。
　図６は、ステップＳ３４の優先度算出処理の概要を示す図である。

　以下に、図６を用いて優先度算出処理の概要を説明する。
　優先度設定部２２７は、ステップＳ３３で求めた発信源領域の推定中心座標が撮像領域から離れている程度に応じて、対応する情報に対してキャッシュ優先度を付与する。より具体的には、例えば、図６に示すように、撮像領域１０を中心に、Ｘ方向、Ｙ方向のそれぞれについて撮像領域１０の２倍の大きさの第１優先度領域１１を仮想的に設定し、第１優先度領域１１内、且つ撮像領域１０外にある発信源Ａ１に関する情報に対して、最も高いキャッシュ優先度を付与する。
　また、撮像領域１０を中心に、Ｘ方向、Ｙ方向のそれぞれについて撮像領域１０の３倍の大きさの第２優先度領域１２を仮想的に設定し、第２優先度領域１２内、且つ第１優先度領域１１外にある発信源Ａ２に関する情報に対して、２番目に高いキャッシュ優先度を付与する。

　また、撮像領域１０を中心に、Ｘ方向、Ｙ方向のそれぞれについて撮像領域１０の４倍の大きさの第３優先度領域１３を仮想的に設定し、第３優先度領域１３内、且つ第２優先度領域１２外にある発信源Ａ３に関する情報に対して、３番目に高いキャッシュ優先度を付与する。
　また、第３優先度領域１３外にある発信源Ａ４に関する情報に対して、最も低いキャッシュ優先度を付与する。
　なおここでは、キャッシュ優先度を４段階としているが、段階数は実施状況に応じて適宜変更することもできる。
　実際の動作時には、各発信源領域の推定中心座標が、撮像領域から基準距離分離れる毎にキャッシュ優先度を下げていき、逆に撮像領域に距離分近づく毎にキャッシュ優先度を上げていく。すなわち、画角からの距離を基準距離単位で量子化した値に基づいてキャッシュ優先度を定める。なお、基準距離は実施状況に応じて適宜変更することもできる。

　より詳細には、継続して撮影が行われる場合には、時間ｔ０秒において撮像領域１０内に写っている発信源のうちのいずれかが、時間ｔ１秒後の撮影で撮像領域から外れ、対応する発信源領域の推定中心座標がＡ１の位置になったときに、その発信源の情報に、最も高いキャッシュ優先度「４」を付与する。さらに時間ｔ２秒後の撮影で、その発信源領域の推定中心座標が第１優先度領域１１の枠を越え、Ａ１の位置からＡ２の位置に移動したときに、キャッシュ優先度をデクリメントして「３」に更新する。このように、撮影の度に発信源領域の推定中心座標がＡ１の位置からＡ２の位置へ、Ａ２の位置からＡ３の位置へ、Ａ３の位置からＡ４の位置へと、優先度領域の枠を越えて撮像領域から離れる度に、対応する発信源の情報のキャッシュ優先度をデクリメントする。また逆に、発信源領域の推定中心座標がＡ４の位置からＡ３の位置へ、Ａ３の位置からＡ２の位置へ、Ａ２の位置からＡ１の位置へと、優先度領域の枠を越えて撮像領域に近づく度に、対応する発信源の情報のキャッシュ優先度をインクリメントする。また、発信源領域が、撮像領域１０内にあるＡ０の位置からＡ１の位置へ移動したときには、キャッシュメモリ２２３に実データが保持され、最も高いキャッシュ優先度が付与される。また、発信源領域が、Ａ１の位置から撮像領域１０内にあるＡ０の位置へ移動したときには、キャッシュメモリ２２３から実データが呼び出される。

　また、一時停止後に撮影を再開する際などに、キャッシュメモリ２２３に発信源に関する情報が記憶された状態で撮影を再開する場合には、撮影の再開時に、キャッシュメモリ２２３に保持された各発信源に関する情報の全てについて、一時停止中に優先度領域の境界を越えたであろう回数を計算するか、あるいは、発信源領域の推定中心座標が、どの優先度領域に属するかを求める等して、キャッシュ優先度を更新する。
　このようにして付与されたキャッシュ優先度は、キャッシュメモリ２２３に記憶された各発信源に関する情報が再度撮像され易いか否かの度合いを表している。本実施形態によれば、撮影済みの発信源に関する情報の中で、撮影範囲の近傍等の操作者が容易に撮影しやすい位置に存在する発信源に関する情報のキャッシュ優先度は高く保たれる。
　従って、キャッシュ優先度は、図４のステップＳ２１における新たな発信源に関する情報をキャッシュメモリ２２３へ書き込む際に、キャッシュメモリ２２３に記憶されている発信源に関する情報の消去順序を決めるための有効な指標と成り得る。

　　＜利用例＞
　キャッシュ優先度は、以下のように利用することができる。
　図７～１２は、キャッシュ優先度の利用例の概略を示す図である。
　図７～１２においては、撮影者が定位置で情報表示装置２００を用いて周辺を撮影した場合における、撮影領域と発信源との位置関係、及びキャッシュメモリに保持されている発信源に関する情報のキャッシュ優先度の時系列的な変動の様子を示している。
　ここで、撮像領域２０は１９２０×１０８０ｐｉｘ（ピクセル）であり、キャッシュ優先度変動枠２１は撮像領域を中心とした３８４０×２１６０ｐｉｘ、キャッシュ優先度変動枠２２は撮像領域を中心とした５７６０×３２４０ｐｉｘである。ここでキャッシュ優先度は３段階とし、発信源に関する情報を４つまで保持できるものとする。また、撮像領域２０の周辺には、７つの発信源Ａ～Ｇが存在し、各発信源は不動とする。

　（１）図７に撮影開始状態を示している。図７では、撮影領域２０内に発信源Ａと発信源Ｂとが存在し、キャッシュメモリ３０は空である。ここで発信源Ａから発信源Ａに関する情報ａが取得され、発信源Ｂから発信源Ｂに関する情報ｂが取得される。
　（２）次に、撮影者が情報表示装置２００を右方向にスライドさせた場合の状態を、図８に示している。図８では、撮影領域２０内に発信源Ａと発信源Ｃとが存在している。ここで発信源Ｃが新たに撮影領域２０内に入ったので、発信源Ｃから発信源Ｃに関する情報ｃが取得される。また図７において撮影領域２０内に存在していた発信源Ｂが撮影領域から外れたため、図８に示すように、キャッシュメモリ３０に発信源Ｂから取得した発信源Ｂに関する情報ｂが保存される。また情報ｂの保存の際には、最も高いキャッシュ優先度となるキャッシュ優先度「３」が付与される。

　（３）さらに撮影者が情報表示装置２００を上方向にスライドさせた場合の状態を、図９に示している。図９では、撮影領域２０内に発信源Ｄのみが存在している。ここで発信源Ｄが新たに撮影領域２０内に入ったので、発信源Ｄから発信源Ｄに関する情報ｄが取得される。また図８において撮影領域２０内に存在していた発信源Ａと発信源Ｃとが撮影領域から外れたため、図９に示すように、キャッシュメモリ３０に、発信源Ａから取得した発信源Ａに関する情報ａと、発信源Ｃから取得した発信源Ｃに関する情報ｃとが保存される。また情報ａ、及び情報ｃの保存の際には、発信源Ｂ、及び発信源Ｃの推定中心座標はキャッシュ優先度変動枠２１内に収まっているので、それぞれにキャッシュ優先度「３」が付与される。一方、発信源Ａの推定中心座標はキャッシュ優先度変動枠２１内に収まってなく、かつキャッシュ優先度変動枠２２内に収まっているので、キャッシュ優先度「２」が付与される。

　（４）さらに撮影者が情報表示装置２００を左方向にスライドさせた場合の状態を、図１０に示している。図１０では、撮影領域２０内に発信源Ｅと発信源Ｆとが存在している。ここで発信源Ｅと発信源Ｆとが新たに撮影領域２０内に入ったので、発信源Ｅから発信源Ｅに関する情報ｅが取得され、発信源Ｆから発信源Ｆに関する情報ｆが取得される。また図９において撮影領域２０内に存在していた発信源Ｄが撮影領域から外れたため、図１０に示すように、キャッシュメモリ３０に発信源Ｄから取得した発信源Ｄに関する情報ｄが保存される。また情報ｄの保存の際には、発信源Ｂ、及び発信源Ｄの推定中心座標はキャッシュ優先度変動枠２１内に収まっているので、それぞれにキャッシュ優先度「３」が付与される。一方、発信源Ａの推定中心座標はキャッシュ優先度変動枠２１内に収まってなく、かつキャッシュ優先度変動枠２２内に収まっているので、キャッシュ優先度「２」が付与され、発信源Ｃの推定中心座標はキャッシュ優先度変動枠２２内に収まっていないので、キャッシュ優先度「１」が付与される。

　（５）さらに、撮影者が情報表示装置２００を下方向にスライドさせた場合の状態を図１１に示している。図１１では、撮影領域２０内に発信源Ｆと発信源Ｇとが存在している。ここで発信源Ｇが新たに撮影領域２０内に入ったので、発信源Ｇから発信源Ｇに関する情報ｇが取得される。また図１０において撮影領域２０内に存在していた発信源Ｅが撮影領域から外れたため、図１１に示すように、キャッシュメモリ３０に発信源Ｅから取得した発信源Ｅに関する情報ｅが保存される。しかしここで、キャッシュメモリ３０にはすでに４つの発信源に関する情報が保存され、空いている領域がないので、最も低い優先度が付与されている発信源の検索処理を行い、消去すべき情報を決定する。発信源Ｂの推定中心座標はキャッシュ優先度変動枠２１内に収まっているので、キャッシュ優先度「３」が付与される。一方、発信源Ａ、発信源Ｄ、及び発信源Ｅの推定中心座標はキャッシュ優先度変動枠２１内に収まってなく、かつキャッシュ優先度変動枠２２内に収まっているので、キャッシュ優先度「２」が付与され、発信源Ｃの推定中心座標はキャッシュ優先度変動枠２２内に収まっていないので、キャッシュ優先度「１」が付与される。従って、最も優先度の低い発信源Ｃに関する情報ｃが消去すべき情報に決定し、キャッシュメモリ３０上の情報ｃが保存されている領域に対して、情報ｅが上書きされる。

　（６）さらに、撮影者が情報表示装置２００を右方向にスライドさせた場合の状態を図１２に示している。図１２では、撮影領域２０内に発信源Ｆと発信源Ｇと発信源Ｂとが存在している。ここで発信源Ｂが新たに撮影領域２０内に入ったが、発信源Ｂに関する情報ｂはキャッシュメモリ３０内に保存されているので、キャッシュメモリ３０から情報ｂが取得される。一方、発信源Ａ、及び発信源Ｄの推定中心座標が、キャッシュ優先度変動枠２１Ａ内に入ったので、それぞれのキャッシュ優先度がインクリメントされてキャッシュ優先度「３」が付与される。

　なお、取得情報処理部２２１、画像情報処理部２２２、キャッシュメモリ２２３、識別情報抽出部２２４、存在判定部２２５、通信情報処理部２２６、優先度設定部２２７、表示用情報生成部２３１、画像重畳部２３２、位置座標取得部２４０、及び方位角度取得部２５０などの各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ，システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではない、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギャラブル・プロセッサーを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応などが可能性としてありえる。

　　＜まとめ＞
　本実施形態の情報表示システムによれば、撮影範囲、撮影座標、及び撮影向きの変化の関係に基づいてキャッシュ優先度の付与を行うことにより、一度撮影された発信源の中で、撮影範囲からは外れているが撮影範囲に容易に再入する位置にある撮影画角に近い発信源に関する情報に対して高いキャッシュ優先度を付与することができる。従って、表示画像に重畳される情報の応答性の向上や、キャッシュ利用率の向上を図ることにより再度情報源が撮像範囲に入った場合の情報表示時間を短縮でき、ひいてはコストを低減することができる。

　［第２の実施形態］
　　＜概要＞
　第２の実施形態は、第１の実施形態におけるキャッシュ優先度の付与の判断に、さらに、撮影範囲内にある発信源の移動特性予測を組み合わせたものである。第２の実施形態によれば、撮影範囲内にある発信源の移動特性予測に従って補正した発信源の座標を用いて、発信源のキャッシュ優先度を付与することができる。

　　＜構成＞
　図１３は、第２の実施形態における情報表示システム２の機能構成の概要を示す図である。
　図１３に示す情報表示システム２は、情報発信源１００、情報表示装置４００、及び表示デバイス３００から構成されている。
　なお、図１の情報表示システム１と同様の構成には同一番号を付し、その説明を省略する。

　情報表示装置４００は、第１の実施形態における情報表示装置２００の構成に、移動特性予測部４２８を追加したものである。また、移動特性予測部４２８の追加に伴い、情報処理部２２０が情報処理部４２０に置き換わっている。
　移動特性予測部４２８は、撮影範囲内にある発信源の移動特性を予測するものであり、取得情報処理部２２１から入力された発信源領域と固体識別情報とが、キャッシュメモリ２２３に既に保存されている固体識別情報と一致する場合に、発信源の座標と面積の変化から移動特性を予測する。詳細は以下の動作の欄において説明する。

　　＜動作＞
　発信源領域検出処理から、信号復元処理、及び、表示用の情報を撮影した画像に重畳して表示させる重畳処理までの一連の手順は、第１の実施形態において図３を用いて説明したものと同様である。
　図１４は、図３におけるステップＳ７の発信源領域情報処理を行うサブルーチンの一連の手順を示す図である。
　ここで、第１の実施形態における図４の手順と同様のステップには同一番号を付し、その説明を省略する。
　（１）～（２）図４の説明における（１）～（２）と同様である（ステップＳ１１～Ｓ１２）。

　（３）発信源移動特性予測処理により算出された移動特性に対して、存在判定部２２５から入力された発信源の撮影時間とキャッシュメモリ２２３から取得した発信源の撮影時間との差分を掛けることで、現在の発信源の位置を予測し、この予測値に基づいて、キャッシュメモリ２２３に保存されている対応する固体識別情報を有する発信源の座標を補正する（ステップＳ４１）。さらに、ここで補正した発信源の座標を用いてステップＳ１３の優先度算出処理を行う。
　（４）～（８）図４の説明における（３）～（７）と同様である（ステップＳ１３～Ｓ１７）。

　（９）発信源移動特性予測処理を行い、キャッシュメモリ２２３から該当する固体識別情報を持つ発信源に関する表示用データを取得し、表示用情報生成部２３１へ発信源領域と表示用情報とを出力する（ステップＳ４２）。
　図１５は、図１４におけるステップＳ４２の発信源移動特性予測処理を行うサブルーチンの一連の手順を示す図である。

　（１）移動特性予測部４２８が、取得情報処理部２２１から入力された固体識別情報を有する発信源領域の座標と面積とをキャッシュメモリ２２３から取得する（ステップＳ５１）。
　（２）取得情報処理部２２１から入力された発信源領域の面積と、キャッシュメモリ２２３から取得した発信源領域の面積との増減比率を算出して、前後方向の移動方向を判定し、移動特性予測部４２８が予め保持している面積の増減比率と移動量の基準値と、ここで求めた発信源領域の面積の増減比率とを比較することにより、前後方向の移動量を算出する（ステップＳ５２）。

　（３）取得情報処理部２２１から入力された発信源領域の座標と、キャッシュメモリ２２３から取得した発信源領域の座標との差分から、画像平面上方向の移動方向と移動量とを算出する（ステップＳ５３）。
　（４）移動特性予測部４２８が、ここで得られた前後方向の移動方向と、画像平面上方向の移動方向と移動量とを、それぞれ、取得情報処理部２２１から入力された発信源領域の撮影時間と、キャッシュメモリ２２３から取得した発信源領域の撮影時間との差分で割ることにより、単位時間当たりの発信源の仮移動方向と仮移動量とを、発信源の仮移動特性として算出する（ステップＳ５４）。

　（５）移動特性予測部４２８が、取得情報処理部２２１から入力された固体識別情報を有する発信源が撮影されたときの撮影座標と撮影方向とを、キャッシュメモリ２２３から取得する（ステップＳ５５）。
　（６）位置座標取得部２４０、及び方位角度取得部２５０から、それぞれ現在の撮影座標、及び撮影方向を取得する（ステップＳ５６）。
　（７）キャッシュメモリ２２３から取得した撮影方向と現在の撮影方向との差分から、回転方向と回転量とを算出し、キャッシュメモリ２２３から取得した撮影座標と現在の撮影座標との差分から移動方向と移動量とを算出する。続いて、ここで求めた回転方向と回転量と移動方向と移動量とをそれぞれ加算し、さらにこれを、取得情報処理部２２１から入力された発信源領域の撮影時間とキャッシュメモリ２２３から取得した発信源領域の撮影時間との差分で割ることにより、単位時間当たりの情報表示装置４００の仮移動方向と仮移動量とを、情報表示装置４００の仮移動特性として算出する（ステップＳ５７）。

　（８）移動特性予測部４２８が、ステップＳ５４において算出した該当発信源の仮移動特性にステップＳ５７において算出した情報表示装置４００の仮移動特性を加算することによって補正し、発信源の単位時間当たりの移動方向と移動量とを予測し、これを発信源の移動特性とする（ステップＳ５８）。
　（９）移動特性予測部４２８が、ここで予測した該当発信源の移動特性を用いて、キャッシュメモリ２２３の該当発信源情報を更新する（ステップＳ５９）。
　なお、本実施形態における移動特性の予測方法は一例であり、例えば三角測法、及び連続的な移動情報を用いて移動特性を予測しても良いし、外部（発信源から発信された情報）から移動特性を取得してもよい。

　　＜まとめ＞
　第２の実施形態の情報表示システムによれば、撮影範囲内にある発信源の移動特性予測に従って補正した発信源の座標を用いて、発信源のキャッシュ優先度を付与することができる。これにより、移動する発信源が撮影範囲から外れた後の予測移動位置に、撮影座標と撮影方向とが追従している場合にキャッシュ優先度が高くなるため、移動する対象の発信源が再度撮影範囲に入った場合に、表示画像に重畳される情報の応答性の向上や、キャッシュ利用率の向上を図ることができ、ひいてはコストを低減することができる。

　なお、第１の実施形態、及び第２の実施形態において、通信情報処理部２２６は、撮像範囲内にある発信源に関連する情報だけでなく、撮像範囲外にある発信源に関連する情報を処理することも可能である。例えば、優先度設定部２２７によって付与されたキャッシュ優先度を基に、情報表示装置と当該発信源の位置関係を、キャッシュ優先度が高いほど近いものとして処理する等して、表示用情報生成部２３１に出力することが可能である。
　このとき、表示用情報生成部２３１は、通信情報処理部２２１から入力された情報に基づいてリスト形式の表示用情報を生成する等して、表示用情報と発信源領域の情報とを画像重畳部２３２に出力する。

　また画像重畳部２３２は、表示用情報生成部２３１から入力された発信源領域の情報から、同時に入力された表示用情報が撮像範囲外の発信源に関連する表示用情報であることを判別する。そして、画像重畳部２３２は、画像情報処理部２２２から入力された画像処理済みの画像情報の枠外のリスト上に、表示用情報生成部２３１から入力された撮像範囲外の発信源に関連する表示用情報を合成する等して表示部１８に出力する。
　表示デバイス３００は、画像重畳部２３２から入力された合成画像を、画像処理済み画像情報と、枠外のリスト上に配置された撮像範囲外の発信源に関連する表示用情報との双方が表示できるような輝度やサイズに調整して表示する。このように、通信情報処理部２２６、表示用情報生成部２３１、画像重畳部２３２、及び表示デバイス３００は、撮像範囲外にある発信源の情報を、優先度設定部２２７が付与したキャッシュ優先度に基づいて表示することも可能である。

　図１６は、撮像部２１０により撮像された画像の枠外に、通信情報処理部２２６により抽出された撮像範囲外の発信源に関連する表示用情報を合成して、表示デバイス３００に表示させた画面の例を示す図である。
　図１６に示す画面には、画像処理済みの画像情報による画像４１と、画像４１の枠外のリスト上に、撮像範囲外の発信源に関連する表示用情報４２が表示されている。
　また、第１の実施形態１、及び、第２の実施形態２では、情報発信源１００から発信される情報のデータフォーマットの一例として、プリアンブルデータ部Ｄ１０とデータ部Ｄ２０が巡回的に送信されていることを示した。

　ここで、１つの発信源に関する表示制御に必要な情報が、複数の（例えば３つの）分割情報にされ、それぞれが図２に示すデータ部Ｄ２０に、同一のプリアンブルデータ部Ｄ１０と共にパケット化されて、異なるタイミングで送信される場合を想定する。このような場合には、実際に各分割情報が格納されるのは図２に示す表示用情報格納部Ｄ２２であり、それぞれの固体識別情報格納部Ｄ２１には同一の固体識別情報が格納される。また、各パケットには元の情報のどの位置に該当するかを示す分割位置データが含まれている。
　このような場合において、キャッシュメモリ２２３は、さらに、表示情報と識別情報と分割位置情報との組を保持する。また識別情報抽出部２２４は、さらに、分割位置データを抽出する。また存在判定部２２５は、さらに、識別情報抽出部２２４により抽出された分割位置データ毎に、分割位置データがキャッシュメモリ２２３に存在するか否かを判定する。

　また、通信情報処理部２２６は、識別情報抽出部２２４により抽出された分割位置データを用いて、輝度の変化に基づいて、不足する分割情報を格納するパケットのみを受信して、不足していた分割情報を抽出し、分割前の元の情報を復元する。
　例えば、キャッシュメモリ２２３から取得した表示用情報が３つの分割情報のうちの１つのみであったときには、通信情報処理部２２６は、分割位置データを用いて不足する分割情報を格納する２つのパケットのみを受信して、不足していた２つの分割情報を取得し、３つの分割情報から分割前の元の情報を復元することが可能である。
　このように、通信情報処理部２２６は、分割位置データによって、キャッシュメモリ２２３から取得できる情報が、１つの発信源から取得できる情報全体の一部に相当する分割情報であることを知ることができ、キャッシュメモリ２２３に保持していない分割情報のみを当該発信源から取得し、キャッシュメモリ２２３に保持していた分割情報と、発信源から新たに取得した分割情報とをつなぎ合わせることも可能である。

　本発明の情報表示装置、表示制御用集積回路、及び表示制御方法は、撮影した画像を表示する機能を有するデジタルカメラ、携帯電話、ノートＰＣ等に利用可能であり、表示画像に重畳される情報の応答性の向上や、キャッシュ利用率の向上を図ることができるので、その産業的利用価値は極めて高い。

　１００　　情報発信源
　１１０　　識別情報記録部
　１２０　　通信データ生成部
　１３０　　変調器
　１４０　　発信用光源
　２００　　情報表示装置
　２１０　　撮像部
　２１１　　レンズ
　２１２　　イメージセンサ
　２２０　　情報処理部
　２２１　　取得情報処理部
　２２２　　画像情報処理部
　２２３　　キャッシュメモリ
　２２４　　識別情報抽出部
　２２５　　存在判定部
　２２６　　通信情報処理部
　２２７　　優先度設定部
　２３０　　表示制御部
　２３１　　表示用情報生成部
　２３２　　画像重畳部
　２４０　　位置座標取得部
　２５０　　方位角度取得部
　３００　　表示デバイス
　４００　　情報表示装置
　４２８　　移動特性予測部

Claims

　可視光通信を行って、時系列的に撮像される画像に、光源から送られてきた光源情報を重畳して画面に表示する情報表示装置であって、
　撮影範囲内の画像を撮像する撮像部と、
　前記画像内にある光源から送られてくる光源情報を逐次キャッシュするキャッシュメモリと、
　前記キャッシュメモリにキャッシュされている光源情報を、現在の撮影範囲に近い光源の順に、優先度を高く設定していく優先度設定部と、
　前記キャッシュメモリにキャッシュされている光源情報の中で、優先度の低い光源情報から順に削除していく通信情報処理部とを備える、情報表示装置。
　前記優先度設定部は、現在の撮影範囲に近い光源か否かを、前記現在の撮影範囲の中心から光源の中心までの距離の値、又は、前記距離を量子化した値が小さいか否かで判断することを特徴とする、請求項１に記載の情報表示装置。
　前記情報表示装置は、さらに、
　　前記画像内にある光源の座標と面積の変化から移動特性を予測する移動特性予測部を備え、
　前記優先度設定部は、
　　前記移動特性に基づいて前記光源の中心の座標を補正し、
　　前記現在の撮影範囲の中心から前記補正した光源の中心の座標までの距離が近いか否かで、現在の撮影範囲に近い光源か否かを判断することを特徴とする、請求項２に記載の情報表示装置。
　前記情報表示装置は、前記キャッシュメモリにキャッシュされている光源の中で優先度が高く、かつ、現在の撮影範囲外にある光源の光源情報についても、画面に表示することを特徴とする、請求項１に記載の情報表示装置。
　可視光通信を行って、時系列的に撮像される画像に、光源から送られてきた光源情報を重畳して画面に表示する情報表示方法であって、
　撮影範囲内の画像を撮像するステップと、
　前記画像内にある光源から送られてくる光源情報を逐次キャッシュメモリにキャッシュするステップと、
　前記キャッシュメモリにキャッシュされている光源情報を、現在の撮影範囲に近い光源の順に、優先度を高く設定していくステップと、
　前記キャッシュメモリにキャッシュされている光源情報の中で、優先度の低い光源情報から順に削除していくステップとを備える、情報表示方法。
　可視光通信を行って、時系列的に撮像される画像に、光源から送られてきた光源情報を重畳して画面に表示する情報表示装置に用いられる集積回路であって、
　撮影範囲内の画像内にある光源から送られてくる光源情報を逐次キャッシュするキャッシュメモリと、
　前記キャッシュメモリにキャッシュされている光源情報を、現在の撮影範囲に近い光源の順に、優先度を高く設定していく優先度設定部と、
　前記キャッシュメモリにキャッシュされている光源情報の中で、優先度の低い光源情報から順に削除していく通信情報処理部とを備える、集積回路。