JP6049452B2 - 情報表示装置、情報表示システム、それらの制御方法、及びプログラム - Google Patents

Description

本発明は、撮像された映像に情報を重畳させて表示する情報表示装置、情報表示システム、それらの制御方法、及びプログラムに関する。

拡張現実を使った技術やシステムがさまざま発表されている（特許文献１、特許文献２）。特許文献１では撮像方向やユーザプロフィールによって拡張現実の表示内容を変えることが述べられている。また、特許文献２では拡張現実の表示対象が入力画像内に多数存在する場合には、撮像映像内の対象に対して重みづけをして表示優先度を決定することが述べられている。

特開２０１１−２４２８１６号公報 特開２０１２−５８８３８号公報

しかしながら、上記背景技術に示すような技術では、以下の課題を持つ。特許文献１のような仕組みの場合では、ある方向のドキュメントの中に複数の拡張現実のマーカが存在していた場合、該当する全てのマーカに対応するコンテンツが表示されてしまい、見る側にとっては煩わしい。

また、複数のマーカに対応した特許文献２のような仕組みの場合では、重みづけ判定をするために撮像領域内全てにおいてマーカの処理を行うため、マーカ数が多くなるほど処理も多く発生してしまう。このため、システムの負荷が高くなったり、処理に時間がかかったりしてしまうなどの懸念がある。

本発明は上述した問題を解決するためになされたものであり、多くのマーカに対応するコンテンツ情報を表示することによる表示上の煩わしさを軽減させることができ、処理負荷を軽減させることができる情報表示装置、情報表示システム、それらの制御方法及びプログラムを提供することを目的とする。

上記目的を達成するための一手段として、本発明の情報表示システムは以下の構成を備える。
すなわち、撮像映像に情報を重畳して表示する情報表示装置とネットワークを介して接続された情報処理装置とから構成される情報表示システムであって、
前記情報表示装置は、
撮像方向の移動方向を計測する計測手段と、
前記計測手段で計測された移動方向によって前記撮像映像から特定する対象領域の位置を変化させる変更手段と、
前記撮像映像中のオブジェクトを認識する認識手段と、
前記認識手段によって認識された前記オブジェクトの認識情報を前記情報処理装置に送信する送信手段と、
前記情報処理装置から前記オブジェクトに関連する情報を受信する受信手段と、
前記受信した、前記オブジェクトに関連する情報を前記撮像映像の前記対象領域に重畳させる表示処理手段と、を備え、
前記情報処理装置は、
前記情報表示装置から前記オブジェクトの認識情報を受信する受信手段と、
前記情報表示装置に前記オブジェクトに関連する情報を送信する送信手段と、
を備えることを特徴とする。

また、本発明の他の情報表示装置は、
撮像映像に情報を重畳して表示する情報表示装置であって、
撮像方向の移動方向を計測する計測手段と、
前記計測手段で計測された移動方向によって前記撮像映像から特定する対象領域の位置を変化させる変更手段と、
前記撮像映像中のオブジェクトを認識する認識手段と、
前記対象領域の内にある撮像映像中の前記認識手段によって認識された前記オブジェクトに関連する情報の表示形態と、
前記対象領域の外にある撮像映像中の前記認識手段によって認識された前記オブジェクトに関連する情報の表示形態とを、異なる表示形態として前記撮像映像に重畳させる表示処理手段と、を備えることを特徴とする。

本発明によれば、ユーザの自然な操作によってユーザが注視している領域のコンテンツ情報を表示することにより、多くのコンテンツ情報を表示することによる表示上の煩わしさを軽減させることができる。また、表示するコンテンツ情報を限定することにより、処理負荷の軽減を実現することができる。

第１実施形態に係る情報表示システムのネットワーク構成を示す図である。 第１実施形態に係るクライアント装置（情報表示装置）の内部構成を示す図である。 第１実施形態に係るクライアント装置の機能ブロック図である。 第１実施形態に係るクライアント装置の動作フローチャートである。 第１実施形態に係るクライアント装置の表示部とマーカ検出領域を例示的に示す図である。 第１実施形態に係るクライアント装置の表示部とマーカ検出領域を例示的に示す図である。 第１実施形態に係るクライアント装置の表示部とマーカ検出領域を例示的に示す図である。 マーカが埋め込まれているドキュメント（地図の例）を例示的に示す図である。 マーカが埋め込まれているドキュメントをクライアント装置で撮像した画像を例示的に示す図である。 マーカが埋め込まれているドキュメントをクライアント装置で撮像した画像にマーカに対応する全てのコンテンツ情報を重畳させて表示した状態を例示的に示す図である。 マーカが埋め込まれているドキュメントを第１実施形態に係るクライアント装置で撮像した映像にマーカに対応するコンテンツ情報を重畳させて表示した状態を例示的に示す図である。 マーカが埋め込まれているドキュメントを第１実施形態に係るクライアント装置で撮像した映像にマーカに対応するコンテンツ情報を重畳させて表示した状態を例示的に示す図である。 マーカが埋め込まれているドキュメントを第１実施形態に係るクライアント装置で撮像した映像にマーカに対応するコンテンツ情報を重畳させて表示した状態を例示的に示す図である。 第２実施形態に係るクライアント装置の動作フローチャートである。 第２実施形態に係るクライアント装置の表示部とマーカ検出領域の重要度を例示的に示す図である。 第２実施形態に係るクライアント装置の表示部とマーカ検出領域の重要度を例示的に示す図である。 マーカが埋め込まれているドキュメントを第２実施形態に係るクライアント装置で撮像した映像にマーカに対応するコンテンツ情報を重畳させて表示した状態を例示的に示す図である。 マーカが埋め込まれているドキュメントをその他の実施形態に係るクライアント装置で撮像した時を例示的に示す図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
本発明に係る情報表示システムの第１実施形態として、撮像中のユーザの操作（クライアント装置の移動・撮像方向の変更など）によって注視領域を判定し、マーカ（オブジェクト）の検出領域（対象領域）を変更する例を以下に説明する。

図１は本発明の情報表示システムに関するネットワーク構成の一例を示す図である。
１０１はサーバ装置（情報処理装置）であり、例えば、地図などのドキュメント１０６などに埋め込まれているマーカ（オブジェクト）に対応するコンテンツを管理及び配信する。１０２から１０４は、例えば携帯電話端末装置・携帯情報端末装置などのクライアント装置（情報表示装置）であり、撮像された映像（撮像映像）内にマーカを検知したらサーバ装置１０１から該当するコンテンツを取得し表示する。このマーカは、例えば、２次元バーコードなどの特定の画像としておいてもよく、あるいは、例えば赤外領域あるいは紫外領域で検出される特定の画像などとしてもよい。各機器は、その内部に通信機能を有しており、各々ネットワーク１０５に接続している。なお、クライアント装置自身にコンテンツを保持しておき、クライアント装置側で、撮像された映像内に検出したマーカに応じてコンテンツを表示するようにしてもよい。このような場合は、必ずしもサーバ装置１０１からコンテンツを送信しなくてもよく、サーバ装置１０１を設けない構成としてもよい。

図２は、第１実施形態に係るクライアント装置１０２の内部構成を示す図である。クライアント装置１０２は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、入力装置２０４、出力装置２０５、通信装置２０６、ドキュメント１０６などを撮像する撮像装置２０９を備え、各々はバス２０７により相互に接続されている。

ＣＰＵ２０１は、記憶装置２０３に記憶されているプログラム２０８を実行することにより、後述する各種機能を実行する。メモリ２０２は、ＣＰＵ２０１が記憶装置２０３から読み出したプログラムやデータを一時的に記憶する。また、メモリ２０２は、ＣＰＵ２０１が各種のプログラムを実行するための領域としても利用される。記憶装置２０３は、オペレーティングシステム（ＯＳ）や各種プログラムや制御プログラム及びデータなどを記憶する。この記憶装置２０３に記憶されるプログラムとしては撮像された映像内のマーカを検知するプログラムや検知後にコンテンツを表示するプログラム、センサや画像処理によって加速度や移動方向などを検知して処理するプログラムなどがある。なお、記憶装置２０３は、例えばＳＳＤやＨＤＤのような大容量記憶装置により構成される。

入力装置２０４は、主にユーザからの入力を受け付ける機能部である。入力装置２０４を介して入力される入力には、具体的には、例えば、撮像装置２０９による撮像の開始・停止の指示や、当該クライアント装置を動かすことによって検知される加速度や移動方向の情報などがある。
出力装置２０５は、入力装置２０４で入力された情報、及び、ＣＰＵ２０１により実行されたプログラムの実行結果などを表示する。

通信装置２０６は、ネットワークに接続するための装置であり、マーカを検知してコンテンツを表示する際にコンテンツの所在がサーバ装置１０１である場合に、マーカ情報（オブジェクトの認識情報）を送信したり、コンテンツ情報（オブジェクトに関連する情報）を受信したりする。外部と通信せずにコンテンツ情報を表示する場合は必ずしも通信装置２０６は必要としない。
バス２０７は、これらの装置間を繋ぎデータを転送する。
制御用のプログラム２０８は、記憶装置２０３の一部データとして格納されている。
撮像装置２０９は、ドキュメント１０６などを撮像するもので、上述のように、マーカが赤外領域あるいは紫外領域で検出される画像である場合には、これらの波長領域にも感度を有するデバイスで構成される。

図３は、第１実施形態に係るクライアント装置（情報表示装置）１０２の機能ブロック図である。クライアント装置１０２は、情報記憶部３０１、情報管理部３０２、制御部（認識部、計測部、変更部、表示処理部）３０３、受信部３０４、表示部３０５及び送信部３０６の各機能部により構成される。

情報記憶部３０１は、後述の情報管理部３０２からの要求に従い、表示すべきコンテンツ情報やユーザがクライアント装置１０２を操作した情報などを記憶する機能部である。具体的には、ＣＰＵ２０１がプログラム２０８を実行したとき、メモリ２０２、記憶装置２０３に確保される。
情報管理部３０２は、情報記憶部３０１に記憶される情報を操作・管理する機能部であり、後述する制御部３０３からの要求に従い、情報記憶部３０１に対する操作・管理を行う。具体的には、ＣＰＵ２０１がプログラム２０８を実行することにより実現される。

制御部３０３は、後述する受信部３０４で受信した情報に応じて、プログラム２０８の備える各種機能の実行を制御する機能部である。なお、制御部３０３は、内部にタイマを備えており、各種時間の計時を実行することができる。また、制御部３０３は、上述の撮像装置２０９による撮像画像中にマーカが存在するか否かを検出し、検出したマーカに関する情報を情報記憶部３０１に格納する。

受信部３０４は、ユーザから直接入力された情報や、サーバ装置（情報処理装置）１０１から送信された情報（例えば、オブジェクトに関連する情報）を受信し制御部３０３に通知する機能部である。
表示部３０５は、受信部３０４により入力された情報に基づいた制御部３０３により実現される各種機能の実行結果を表示する機能部であり、具体的には出力装置２０５により構成される。
送信部３０６は、制御部３０３からの指示などに応じて、情報記憶部３０１の情報などを、外部に送信する機能部である。

図４は、第１実施形態に係る電子情報表示システムのクライアント装置１０２の動作を示すフローチャートである。クライアント装置１０２のＣＰＵは、上述のプログラム２０８を実行することにより、本フローチャートの処理を実行する。

ステップＳ４０１では、制御部３０３は、当該クライアント装置が移動する速度を計測し、静止状態又は微速移動であるか否かを判定する。具体的には、制御部３０３は、計測された速度が設定された閾値以下（第１の閾値以下）である場合は、静止状態又は微速移動であると判定してステップＳ４０５に進む。計測された速度が第１の閾値を超えた場合は、制御部３０３は、ステップＳ４０２及びＳ４０３において移動速度を判定する。具体的には、制御部３０３は、ステップＳ４０２において、検出された速度が第２の閾値を超えるか否かを判定し、第２の閾値以下である場合には「低速移動」であると判定する。第２の閾値を超える場合には、Ｓ４０３において、検出された速度が第３の閾値を超えるか否かを判定し、第３の閾値以下である場合には「中速移動」であると判定し、第３の閾値を超える場合には「高速移動」であると判定する。この後、制御部３０３は、ステップＳ４０４にて移動した方向を算出する。

なお、Ｓ４０１における移動速度及び移動方向は、クライアント装置１０２に３軸加速度センサ・ジャイロセンサなどのセンサが搭載されている場合には、このセンサの検出出力から判定してもよいし、撮像装置２０９で撮像された映像に対する画像処理によって算出しても構わない。センサから判定するよう構成することにより、通常のＣＰＵ処理によって判定する場合より判定処理を高速化し機敏な動作を実現することができる。また画像処理によって算出するよう構成することにより、製品へのセンサの搭載が省略でき、あるいは、センサを追加搭載できない製品でも本処理が適用でき、コストダウンを実現できる。
ステップＳ４０５及びステップＳ４０６では、ステップＳ４０１からＳ４０４までの判定結果に応じてマーカを検出するマーカ検出領域（対象領域）の大きさ、位置、形状の変更処理を行う。

図５は、ステップＳ４０１において、静止状態又は微速移動であると判定された状態の例を示している。このような状態のときは、ユーザがクライアント装置１０２の画面１０２ａの中心を注視していると考えられる。このため、制御部３０３は、マーカ検出領域（対象領域）１０２ｂをクライアント装置１０２の画面１０２ａの中央付近の第１の領域とする。
図５では説明の都合上、マーカ検出領域（対象領域）１０２ｂは円形としたが、これは単なる例示に過ぎず、マーカ検出領域（対象領域）１０２ｂは必ずしも円形である必要はなく、四角形などでもよい。

また、図６は、ステップＳ４０２で例えばクライアント装置１０２を左方向に低速移動（例えば秒速３ｃｍ未満）していると判断された状態の例を示している。このような状態のときは、ユーザが画面１０２ａの左側に表示される情報に対して注視していると考えられる。このため、制御部３０３は、マーカ検出領域（対象領域）１０２ｂを画面１０２ａ中心より左側に偏った領域（第２の領域）とする。
左側に偏った領域とは、左側に表示される情報が右側に表示される情報よりも多く含まれるようになる領域という意味である。
図６や後述する図７では説明の都合上、偏ったマーカ検出領域（対象領域）１０２ｂを楕円形として表したが、これは単なる例示に過ぎず、偏ったマーカ検出領域（対象領域）１０２ｂは必ずしも楕円形である必要はない。

また、図７は、ステップＳ４０３において、例えばクライアント装置１０２を左方向に中速移動（例えば秒速６ｃｍ未満）していると判断された状態の例を示している。このような状態では、ユーザが注視している画面１０２ａ上の領域が狭まると考えられる。このため、制御部３０３は、マーカ検出領域（対象領域）１０２ｂを上述の図６より狭い領域（第３の領域）とする。狭い領域とは、横方向又は縦方向のいずれか一方又は双方が狭い領域という意味である。
さらに、ステップＳ４０３において、高速移動（例えば秒速６ｃｍ以上）していると判断された状態では、制御部３０３は、マーカ検出領域１０２ｂを図７より更に狭い範囲とする。あるいは、高速移動の場合には、ユーザが画面１０２ａを注視していないと判断してコンテンツ情報を表示しない状態としてもよい。

ステップＳ４０７では、撮像装置２０９により撮像された映像中のマーカ検出領域（対象領域）１０２ｂ内に絞って、マーカが存在しているかを検出する。マーカが検出された場合には、ステップＳ４０８において、検出されたマーカに対応または関連するコンテンツ情報を撮像された映像に重畳させて画面１０２ａに出力する。このようなコンテンツ情報の出力が終了した後、制御部３０３はプロセスの最初（Ｓ４０１）に戻り、上述の処理を繰り返す。
これにより、クライアント装置１０２の移動速度と移動方向に応じて、撮像された映像中のマーカ検出領域の大きさ、位置、形状を変更し、このマーカ検出領域内のマーカに対応するコンテンツ情報が、撮像された映像に重畳されて表示される。

図８は、マーカ（オブジェクト）が埋め込まれたドキュメントの例を示す図である。
図９は、このようなドキュメント１０６の一部１０６ａをクライアント装置１０２で撮像した際に画面１０２ａに表示されるドキュメント４０１の例を示す図である。
撮像された映像中の全てのマーカに対応するコンテンツ情報を重畳させて表示する場合には、例えば図１０に示すように、映像中に多くのマーカが存在している場合には、多くのコンテンツ情報が撮像された映像に重畳されて表示される。この図１０ではマーカに対応するコンテンツが県名のみである場合について示しているが、コンテンツ情報として県に関する情報を含む場合には、更に多くのコンテンツ情報が表示されることになり、クライアント装置の画面が情報で埋もれてしまう状態になってしまう。

これに対し、図１１、図１２、図１３は図４に示すフローチャートの処理を実行した際に画面１０２ａに表示されるドキュメント４０１の例である。
図１１は、クライアント装置１０２が動きを検出していない状態でのコンテンツ情報の表示例を示している。
図１２は、クライアント装置１０２が左向きに「低速移動」している状態でのコンテンツ情報の表示例を示している。
図１３は、クライアント装置１０２が左向きに「中速移動」している状態でのコンテンツ情報の表示例を示している。

これらの図に示されているように、この情報表示システムでは、クライアント装置１０２が移動する速度と方向に応じてマーカ検出領域の大きさ、位置、形状を変更し、マーカ検出領域内にあるマーカに対応するコンテンツ情報を表示する。このような動作とすることで、ユーザにとって適度な情報を表示するようになっている。例えばユーザがドキュメント中の所望の位置が画面に映るようにクライアント装置１０２を移動させると、この移動に追従して、マーカ検出領域の大きさ、位置、形状が変化する。ユーザがクライアント装置１０２を移動する際には、最初は目的となるドキュメント中の場所をめがけて勢いよく（例えば「中速移動」で）移動させるが、目的の場所に近付くに従って（例えば「低速移動」から「停止」に）減速させるものと思われる。このようにクライアント装置を移動させた場合、最初は、移動方向寄りで狭いマーカ検出領域が設定されるが、減速されるに従って中央部の大きいマーカ検出領域が設定される。

以上説明したとおり、第１実施形態に係るクライアント装置１０２によれば、クライアント装置１０２の移動状態に応じて、ユーザが注視していると想定される画面上の領域をマーカ検出領域としている。このように、大きさや位置や形状が変わるマーカ検出領域内のマーカに対応するコンテンツ情報を撮像された映像に重畳させて表示することで、表示すべきコンテンツ情報を適度に抑えることができる。このため、多くのコンテンツ情報が表示されることによる煩わしさを軽減することができる。また、表示するコンテンツ情報を限定することにより、表示の処理負荷を軽減させることができる。

＜第２実施形態＞
第１実施形態では、撮像中の操作によってマーカ検出領域の大きさや位置や形状を変えることで、表示すべきコンテンツ情報を限定する例を示した。第２実施形態では撮像中の操作によってマーカ検知の優先度や重要度を変えることで、コンテンツ情報の表示に変化を与える例を示す。なお、この第２実施形態の情報表示システムのネットワーク構成、内部構成、機能ブロック図は第１実施形態と同様であるため説明を省略する。

図１４は第２実施形態に係る情報表示システムのクライアント装置（情報表示装置）１０２の動作を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現される。なお、ステップＳ１３０１からステップＳ１３０４までの処理は図４中のクライアント装置の移動状態を判定するステップＳ４０１からステップＳ４０４までの処理と同じであるため説明を省略する。
ステップＳ１３０５及びステップＳ１３０６では、ステップＳ１３０１からＳ１３０４までで検知したクライアント装置の移動状態に応じてマーカを検出するマーカ検出領域（本実施例では撮像された映像全体）を重要度によって区分し、重要度の高い領域（マーカ優先検出領域［変更領域］）の大きさ、位置、形状の変更処理を行う。

図１５は。ステップＳ１３０１において、静止状態又は微速移動と判定された状態の例を示している。このときマーカを検出するマーカ検出領域は撮像された映像の全体とするが、ユーザは撮像された映像の領域の中央ほど注視していると考えられる。このため、制御部３０３（表示処理手段、表示変更手段）は、映像の中央部を、重要度が高いマーカ優先検出領域５０１ａとし、さらにその中央側をより重要度が高いマーカ最優先検出領域５０１ｂとして扱う。

図１６はステップＳ１３０２で移動速度が低速と判断され、ステップＳ１３０４で移動方向が左方向と判断された状態の例を示している。この場合は、ユーザはクライアント装置１０２の画面１０２ａの左側に表示される情報を注視していると考えられる。このため、制御部３０３は、マーカ優先検出領域５０１ａ及びマーカ最優先検出領域５０１ｂを画面１０２ａの中心より左側に偏った領域とし、重要度が高いものとして扱う。

ステップＳ１３０７では、マーカ検出領域内に（画面１０２ａに表示されている映像全体のどこかに）マーカが存在しているかを確認する。
ステップＳ１３０８では、検出したマーカに対応するコンテンツ情報を優先度、重要度に応じて強調して、撮像された映像に重畳させて画面１０２ａに出力する。なお、優先度、重要度は、マーカ優先検出領域５０１ａ内、あるいはマーカ最優先検出領域５０１ｂ内であるか否かで判断する。
例えば、マーカ優先検出領域５０１ａ内のマーカに対応するコンテンツ情報は、マーカ優先検出領域５０１ａ外のマーカに対応するコンテンツ情報の文字サイズより１ポイント大きいサイズで画面１０２ａに出力される。そして、マーカ最優先検出領域５０１ｂ内のマーカに対応するコンテンツ情報は、マーカ優先検出領域５０１ａ外のマーカに対応するコンテンツ情報の文字サイズより２ポイント大きいサイズで画面１０２ａに出力される。
このように、コンテンツ情報の出力が終了した後、制御部３０３はプロセスの最初（Ｓ１３０１）に戻り、上述の処理を繰り返す。
これにより、クライアント装置１０２の移動に応じて、撮像された映像中のマーカ優先検出領域５０１ａ及びマーカ最優先検出領域５０１ｂ内のマーカに対応するコンテンツ情報が、強調されて、撮像された映像に重畳されて表示される。

図１７は、図１４の動作フローチャートの処理を実行した際に画面１０２ａに表示されるドキュメント４０１の例である。この図１７は、クライアント装置１０２が動きを検出していない状態でのコンテンツ情報の表示例を示している。
この図に示すように、制御部３０３は、重要度の高い領域のコンテンツ情報ほど大きく表示され、逆に重要度の低い情報が小さく表示されるようにコンテンツ情報の表示態様を変化させる。
この図の例では、文字サイズを大中小の３つとした。そして、
マーカ優先検出領域５０１ａ外のマーカに対応するコンテンツ情報の文字（例えば、山形）のサイズを小とし、
マーカ優先検出領域５０１ａ内かつマーカ最優先検出領域５０１ｂ外のマーカに対応するコンテンツ情報の文字（例えば、埼玉）のサイズを中とし、
マーカ最優先検出領域５０１ｂ内のマーカに対応するコンテンツ情報の文字（例えば、長野）のサイズを大とした。
第１実施形態におけるマーカ検出領域の変更と同様に、これらマーカ優先検出領域およびマーカ最優先検出領域の位置、大きさ、形状はクライアント装置１０２の移動に追従して変更される。

ユーザがドキュメント中の所望の位置が画面に映るようにクライアント装置１０２を移動させ際には、最初は目的となるドキュメント中の場所をめがけて勢いよく移動させるが、目的の場所に近付くに従って減速させるものと思われる。このような場合、最初は移動方向寄りで狭い領域が重要度の高いマーカ優先検出領域５０１ａ及びマーカ最優先検出領域５０１ｂとして設定される。減速されるに従って、中央部の領域が重要度の高いマーカ優先検出領域５０１ａ及びマーカ最優先検出領域５０１ｂとして設定される。このような動作とすることで、ユーザが注視している箇所を見やすく表示し、それ以外の場所も表示はされているが、注視している箇所より目立たないようにするため、ユーザに負担がかからない効果がある。

なお、第２実施形態では、マーカ検出領域を３種類の優先度（マーカ優先検出領域５０１ａ、５０１ｂ及びそれ以外の領域）で区分した例を示しているが、優先度数には制限はなく２個以上であればいくつでも構わない。さらに、撮像された映像中の総マーカ数などの環境によって優先度数を変えることで、注視していない箇所の情報を抑えることができる。

また、先述では優先度に応じてコンテンツ情報の表示の大きさを変える例を挙げたが、コンテンツ情報の表示割合を変えてもよい。例えば、図１７で言うと、優先度の高い領域ではコンテンツ情報として持っている県名と県に関する情報を全て表示する。優先度の低い領域ではコンテンツ情報として県名と県に関する情報は持っているのだが、表示は県名のみ表示する。このように、優先度に応じて本来持っている情報をすべて表示するのか一部表示するのかという表示方法でも問題ない。このようにすることで、表示内容を一部のみ扱う箇所も存在するために、システムの処理側の負荷も抑えることができる。

以上説明したとおり、第２実施形態に係るクライアント装置１０２によれば、クライアント装置１０２を使った撮像、閲覧操作によってユーザの注視場所が特定できる。そのため、注視場所によってコンテンツ情報の大きさ、情報の詳細さや情報量などの表示形態を変えることで、表示上、見やすくすることができる。また、情報の詳細さ、あるいは、情報量を低減させるように表示形態を変えることで、処理負荷を軽減させることができる。

＜その他の実施形態＞
クライアント装置１０２の撮像領域内に含まれるマーカ及びコンテンツ情報の密集度または割合によって第１実施形態及び第２実施形態の処理を実施するかを判断しても構わない。つまり、マーカの割合（オブジェクトの割合）が閾値を超えない場合は、第１実施形態の処理も第２実施形態の処理も実施しなくても良い。「オブジェクトの割合」とは、例えば下記式によって算出する。
オブジェクトの割合＝（撮像領域内に含まれるオブジェクトの数）／（表示画面１０２ａのサイズによって予め決められたオブジェクトの数）

例えば図１８はマーカの密集度の低いドキュメントを撮像した例である。
このように、マーカの密集度が低い場合には、全てのコンテンツ情報を表示しても煩わしくないと想定される。このため、この実施形態では、上述の図４あるいは図１４に示す処理を実行する前に、撮像映像中のマーカの数を検出し、検出したマーカの数に応じてマーカ検出領域の設定を行う。具体的には、クライアント装置は、撮像装置２０９によって撮像した映像中の全てのマーカの数を検出する。検出されたマーカの数が所定の閾値（例えば５〜２０程度）より少ない場合には、図４あるいは図１４に示す処理の代わりに、撮像映像中の全てのマーカに対応するコンテンツ情報を重畳させて表示する。

マーカの密集度が少ないときにマーカの多いときと同じ処理をすると、通常の表示処理より負荷を増加させる可能性があるが、このような動作とすることで、負荷の増加を抑制することができる。また、ユーザ側からも、マーカの密集度が少ないということは全てのコンテンツ情報を表示しても煩わしくないため、負担が少ないまま一覧することができる。

以上、実施形態の例を詳述したが、本発明は例えば、システム、装置、方法、プログラム又は記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、Ｗｅｂアプリケーション等）から構成されるシステムに適用することも、一つの機器からなる装置に適用することも可能である。

また、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコードの実行により実現される機能部が前述した実施形態の機能を実現することになる。

１０２ 表示装置
１０２ａ 表示装置の表示部
５０１、５０１ａ 表示装置が優先的に表示を行う領域
５０１ｂ 表示装置がさらに優先的に表示を行う領域
４０１、４０２ マーカが埋め込まれたドキュメント

Claims (14)

1. 撮像映像に情報を重畳して表示する情報表示装置であって、
   撮像方向の移動方向を計測する計測手段と、
   前記計測手段で計測された移動方向によって前記撮像映像における対象領域の位置を変化させる変更手段と、
   前記撮像映像中のオブジェクトを認識する認識手段と、
   前記対象領域の内にある前記オブジェクトに関連する情報を前記撮像映像に重畳させ、前記対象領域の外にある前記オブジェクトに関連する情報を前記撮像映像に重畳させない表示制御手段と、
   を備えることを特徴とする情報表示装置。
2. 前記計測手段は、さらに速度を計測し、
   前記変更手段は、前記計測手段で計測された速度が第１の閾値以下の場合には前記対象領域を中央付近の第１の領域とし、前記第１の閾値を超えた場合には前記対象領域を前記計測手段で計測された移動方向に偏った第２の領域とすることを特徴とする請求項１に記載の情報表示装置。
3. 前記変更手段は、前記計測手段で計測された速度が前記第１の閾値より大きい第２の閾値を超えた場合には前記対象領域を前記第２の領域より狭い第３の領域とすることを特徴とする請求項２に記載の情報表示装置。
4. 前記認識手段では、前記変化した位置の前記対象領域の内にある前記撮像映像中のオブジェクトを認識することを特徴とする請求項１に記載の情報表示装置。
5. 撮像映像に情報を重畳して表示する情報表示装置であって、
   撮像方向の移動方向を計測する計測手段と、
   前記計測手段で計測された移動方向によって前記撮像映像における対象領域の位置を変化させる変更手段と、
   前記撮像映像中のオブジェクトを認識する認識手段と、
   前記対象領域の内にある前記オブジェクトに関連する情報の表示形態と、
   前記対象領域の外にある前記オブジェクトに関連する情報の表示形態とを、異なる表示形態として前記撮像映像に重畳させる表示制御手段と、
   を備えることを特徴とする情報表示装置。
6. 前記計測手段は、さらに速度を計測し、
   前記変更手段は、前記計測手段で計測された速度が第１の閾値以下の場合には前記対象領域を中央付近の第１の領域とし、前記第１の閾値を超えた場合には前記対象領域を前記計測手段で計測された移動方向に偏った第２の領域とすることを特徴とする請求項５に記載の情報表示装置。
7. 撮像映像中に存在するオブジェクトの割合が閾値を超えない場合、
   前記計測手段は、前記移動する速度及び方向を計測せず、
   前記変更手段は、前記対象領域を前記撮像映像の全ての領域とし、
   前記認識手段は、前記撮像映像中の全てのオブジェクトを認識し、
   前記表示制御手段は、前記撮像映像中の全てのオブジェクトに関連する情報を前記撮像映像に重畳させる、ことを特徴とする請求項１乃至６のいずれか一項に記載の情報表示装置。
8. 前記認識手段では、前記変化した位置の前記対象領域の内にある前記撮像映像中のオブジェクトを認識することを特徴とする請求項５に記載の情報表示装置。
9. 撮像映像に情報を重畳して表示する情報表示装置とネットワークを介して接続された情報処理装置とから構成される情報表示システムであって、
   前記情報表示装置は、
   撮像方向の移動方向を計測する計測手段と、
   前記計測手段で計測された移動方向によって前記撮像映像における対象領域の位置を変化させる変更手段と、
   前記撮像映像中のオブジェクトを認識する認識手段と、
   前記認識手段によって認識された前記オブジェクトの認識情報を前記情報処理装置に送信する送信手段と、
   前記情報処理装置から前記オブジェクトに関連する情報を受信する受信手段と、
   前記受信した、前記オブジェクトに関連する情報を前記撮像映像の前記対象領域の内にあるオブジェクトに重畳させ、前記対象領域の外にあるオブジェクトに重畳させない表示制御手段と、を備え、
   前記情報処理装置は、
   前記情報表示装置から前記オブジェクトの認識情報を受信する受信手段と、
   前記情報表示装置に前記オブジェクトに関連する情報を送信する送信手段と、
   を備えることを特徴とする情報表示システム。
10. 撮像映像に情報を重畳して表示する情報表示装置の制御方法であって、
    計測手段が、撮像方向の移動方向を計測する計測工程と、
    変更手段が、前記計測工程により計測された移動方向によって前記撮像映像における対象領域の位置を変化させる変更工程と、
    認識手段が、前記撮像映像中のオブジェクトを認識する認識工程と、
    表示制御手段が、前記対象領域の内にある前記オブジェクトに関連する情報を前記撮像映像に重畳させ、前記対象領域の外にある前記オブジェクトに関連する情報を前記撮像映像に重畳させない表示制御工程と、
    を有することを特徴とする情報表示装置の制御方法。
11. 撮像映像に情報を重畳して表示する情報表示装置の制御方法であって、
    計測手段が、撮像方向の移動方向を計測する計測工程と、
    変更手段が、前記計測工程により計測された移動方向によって前記撮像映像における対象領域の位置を変化させる変更工程と、
    認識手段が、前記撮像映像中のオブジェクトを認識する認識工程と、
    表示制御手段が、
    前記対象領域の内にある前記オブジェクトに関連する情報の表示形態と、
    前記対象領域の外にある前記オブジェクトに関連する情報の表示形態とを、異なる表示形態として前記撮像映像に重畳させる表示制御工程と、
    を有することを特徴とする情報表示装置の制御方法。
12. 撮像映像に情報を重畳して表示する情報表示装置とネットワークを介して接続された情報処理装置とから構成される情報表示システムの制御方法であって、
    前記情報表示装置の計測手段が、撮像方向の移動方向を計測する計測工程と、
    前記情報表示装置の変更手段が、前記計測工程により計測された移動方向によって前記撮像映像における対象領域の位置を変化させる変更工程と、
    前記情報表示装置の認識手段が、前記撮像映像中のオブジェクトを認識する認識工程と、
    前記情報表示装置の送信手段が、前記オブジェクトの認識情報を前記情報処理装置に送信する送信工程と、
    前記情報処理装置の受信手段が、前記情報表示装置から前記オブジェクトの認識情報を受信する受信工程と、
    前記情報処理装置の送信手段が、前記情報表示装置に前記オブジェクトに関連する情報を送信する送信工程と、
    前記情報表示装置の受信手段が、前記情報処理装置から前記オブジェクトに関連する情報を受信する受信工程と、
    前記情報表示装置の表示制御手段が、前記対象領域の内にある前記オブジェクトに関連する情報を前記撮像映像の前記対象領域に重畳させ、前記対象領域の外にある前記オブジェクトに関連する情報を前記撮像映像に重畳させない表示制御工程と、
    を有することを特徴とする情報表示システムの制御方法。
13. 請求項１０又は１１に記載の情報表示装置の制御方法における各工程をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の情報表示システムの制御方法における各工程をコンピュータに実行させるためのプログラム。

Images