JP2016036106A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】不安定な位置変動を行うデバイスを用いた拡張現実表示システムにおいて、安定して撮影画像の関連情報を重畳表示することを目的とする。
【解決手段】表示装置に表示中の撮影画像からオブジェクトを認識する認識処理と、オブジェクトに関連する関連情報を抽出する抽出処理と、関連情報を、撮影画像に重畳して表示装置に表示する表示処理とを含む重畳表示処理を行う重畳表示手段と、認識処理において認識されたオブジェクトが継続して認識されているか否かを監視する監視手段とを有し、重畳表示手段は、オブジェクトが前記監視手段により認識されなくなった場合に、重畳表示処理の進行状況に基づいて、重畳表示処理を継続又は停止することを特徴とする。
【選択図】図１

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、実写映像からオブジェクトを認識し、当該オブジェクトに関連する電子情報を電子映像化して実写映像に重畳表示する拡張現実（あるいは仮想現実）と呼ばれる技術において、電子映像化された情報の可読性や視認性を改善する方法が提案されている。特許文献１には、天候や撮影地といった撮影状況に応じて電子映像の表示態様を変更する方法が示されている。また、特許文献２には、実写映像の撮影視野とオブジェクトの位置関係を利用して、可視オブジェクトの情報と、該オブジェクトと関連性のある不可視オブジェクトの情報を同時に表示することで、関連する情報をまとめて閲覧する方法が示されている。

特開２０１１−２３３００５号公報 特開２０１１−１６４７０１号公報

実写映像からオブジェクトを認識して関連する電子映像を重畳して表示する方法において、電子映像を安定して表示するためにはオブジェクトの認識が途切れないよう撮影視野内にオブジェクトを安定して留めておく必要がある。一方、拡張現実表示を実行する装置としては、タブレットやメガネ型ディスプレイのようにカメラとディスプレイが一体となったデバイスが一般に用いられる。こうしたデバイスでは、ユーザの手や顔の動きに応じて撮影視野が容易に変動するため、撮影視野内にオブジェクトを安定させるのが難しい。
そのため、例えばユーザの不意な動作によってオブジェクトが撮影視野から外れて認識できなくなると、電子映像の表示が中断されてしまいユーザが安定して情報を閲覧することができないという課題がある。また、撮影視野内に戻したオブジェクトが再認識された際に表示済の情報が再表示されると、効率的に情報を閲覧することができないという課題がある。前述の先行技術では、これらの課題が解決されていなかった。

本発明はこのような問題点に鑑みなされたもので、不安定な位置変動を行うデバイスを用いた拡張現実表示システムにおいて、安定して実写映像の関連情報を重畳表示することを目的とする。

そこで、本発明は、情報処理装置であって、表示装置に表示中の撮影画像からオブジェクトを認識する認識処理と、前記オブジェクトに関連する関連情報を抽出する抽出処理と、前記関連情報を、前記撮影画像に重畳して前記表示装置に表示する表示処理とを含む重畳表示処理を行う重畳表示手段と、前記認識処理において認識されたオブジェクトが継続して認識されているか否かを監視する監視手段とを有し、前記重畳表示手段は、前記オブジェクトが前記監視手段により認識されなくなった場合に、前記重畳表示処理の進行状況に基づいて、前記重畳表示処理を継続又は停止することを特徴とする。

本発明によれば、不安定な位置変動を行うデバイスを用いた拡張現実表示システムにおいて、安定して撮影画像の関連情報を重畳表示することができる。

情報処理システムを示す図である。 オブジェクトの説明図である。 タブレット端末のハードウェア構成を示す図である。 タブレット端末のソフトウェア構成を示す図である。 オブジェクト情報のデータ構成の一例を示す図である。 状況管理情報のデータ構成の一例を示す図である。 重畳表示処理を示すフローチャートである。 重畳表示処理を示すフローチャートである。 重畳表示処理を示すフローチャートである。 監視処理を示すフローチャートである。 指示管理情報のデータ構成の一例を示す図である。 第２の実施形態に係る重畳表示処理を示すフローチャートである。 第２の実施形態に係る重畳表示処理を示すフローチャートである。 問い合わせ画面の表示例を示す図である。 第２の実施形態に係る監視処理を示すフローチャートである。 第３の実施形態に係るタブレット端末のハードウェア構成を示す図である。 第３の実施形態に係る監視処理を示すフローチャートである。 第４の実施形態に係る監視処理を示すフローチャートである。 第４の実施形態に係る監視処理を示すフローチャートである。 第５の実施形態に係るタブレット端末のハードウェア構成を示す図である。 第５の実施形態に係る監視処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、第１の実施形態に係る情報処理システムを示す図である。情報処理装置の一例としてのタブレット端末１０１は、拡張現実（ＡＲ）表示処理を実行する。すなわち、タブレット端末１０１は、撮影デバイスと表示デバイスとを備え、撮影デバイスで撮影している実世界のオブジェクト１０４の映像（動画像）に、電子情報を映像化した電子映像を重畳して表示する。ここで実世界のオブジェクトとは地図、紙文書や建造物等、実在の物体全般を示す。

オブジェクトデータベース（ＤＢ）１０２は、実世界のオブジェクトと１対１に紐付けられたオブジェクト情報を登録したデータベースである。オブジェクトＤＢ１０２を用いることにより、実世界のオブジェクトを一意に特定可能な情報を検索条件として、オブジェクト情報を検索・取得することが可能である。関連情報データベース（ＤＢ）１０３は、オブジェクトＤＢ１０２に登録されているオブジェクト情報の関連情報を登録したデータベースである。関連情報は、動画であるものとする。なお、関連情報は、テキスト情報や静止画でもよい。すなわち、関連情報は、任意の形式の情報である。また、１つのオブジェクトに対して複数の関連情報が対応付けられても良い。前述のオブジェクト情報には、関連情報にアクセスするためのデータが登録される。

本システムでは、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）を関連情報データベースとして用いるものとし、オブジェクト情報には、関連情報の情報源のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を登録する。タブレット端末１０１、オブジェクトＤＢ１０２、関連情報ＤＢ１０３は、それぞれネットワーク１０５に接続しており、相互に通信可能な状態となっている。

図２（ａ）は、本実施形態に係る情報処理システムにおいて、実世界のオブジェクト１０４として用いられる印刷物の一例を示す図である。印刷物２００には、二次元バーコード２０１が印刷されている。二次元バーコード２０１は、この印刷物２００を一意に特定するオブジェクト識別子をコード化したものである。オブジェクト識別子は、オブジェクトＤＢ１０２にオブジェクト情報として登録されているものとする。なお、説明を簡単にするため、本情報処理システムでは、二次元バーコードを用いて実世界のオブジェクトを特定する方法を用いるが、これ以外の方法を利用しても本発明は実施可能である。例えば、情報処理システムは、撮像データから画像特徴量を抽出してオブジェクトを識別する方法でオブジェクトを特定してもよい。また、例えば、情報処理システムは、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）のように撮像データ以外の情報に基づいてオブジェクトを特定してもよい。

図２（ｂ）は、タブレット端末１０１の表示装置の表示例を示す図である。表示装置２１０には、撮影デバイスにより撮影された印刷物２００が表示されている。さらに、印刷物２００から特定された二次元バーコードに対応付けられている関連情報としての電子映像２１１，２１２が重畳して表示されている。図２（ｂ）に示す例においては、タブレット端末１０１は、印刷物２００の図表に関連する電子映像２１１，２２２をポップアップ表示している。

次に、情報処理システムによる、タブレット端末１０１への拡張現実表示処理の概略を説明する。まず、ユーザがタブレット端末１０１で印刷物２００を撮影すると、タブレット端末１０１は、印刷物２００の二次元バーコード２０１を認識し、二次元バーコード２０１からオブジェクト識別子を検出する。次に、タブレット端末１０１は、オブジェクトＤＢ１０２に接続し、検出したオブジェクト識別子を検索条件として、オブジェクト情報を検索し、これを取得する。続いて、タブレット端末１０１は、取得したオブジェクト情報から関連情報ＤＢ１０３にアクセスするためのＵＲＬを抽出する。次に、タブレット端末１０１は、抽出したＵＲＬにアクセスして関連情報を取得して、タブレット端末１０１に表示するための電子映像を生成する。最後に、タブレット端末１０１は、印刷物２００の撮影画像に、生成した電子映像を重畳して表示する。以上の手順により、拡張現実表示を行う。

図３は、タブレット端末１０１のハードウェア構成を示す図である。ＣＰＵ３０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）及び各種アプリケーションプログラムを実行し、タブレット端末１０１の各部の制御を行う。ＲＯＭ３０２は、ＣＰＵ３０１が実行するプログラムや演算用のパラメタのうちの固定的なデータを格納する。ＲＡＭ３０３は、ＣＰＵ３０１の作業領域やデータの一時記憶領域を提供する。ＲＯＭ３０２及びＲＡＭ３０３は、バス３０４を介してＣＰＵ３０１に接続される。なお、後述するタブレット端末１０１の機能や処理は、ＣＰＵ３０１がＲＯＭ３０２等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

入力装置３０５、ＣＲＴ、液晶ディスプレイ等の表示装置２１０、ハードディスク装置、ＭＯ、ＣＤ−ＲＯＭ等の外部記憶装置３０７及び撮影装置３０８は、インタフェース３０９を介してバス３０４に接続されている。また、バス３０４は、通信装置３１０を介してネットワーク１０５と接続される。

図４は、タブレット端末１０１のソフトウェア構成を示す図である。タブレット端末１０１は、受付部４０１と、撮影制御部４０２と、重畳表示処理部４１０と、監視部４０７とを有している。受付部４０１は、入力装置３０５を介してユーザにより入力された情報を受け付ける。撮影制御部４０２は、撮影装置３０８を制御し、実世界のオブジェクトを被写体とする撮影画像を生成する。ここで、撮影画像は、動画像であるものとする。

重畳表示処理部４１０は、拡張現実（ＡＲ）表示処理としての重畳表示処理を行う。重畳表示処理部４１０は、表示処理部４０３と、オブジェクト認識部４０４と、オブジェクト管理部４０５と、関連情報管理部４０６とを有しており、これら各部の協働により重畳表示処理が実現される。すなわち、表示処理部４０３は、得られた撮影画像を表示装置２１０に表示し、さらに、撮影画像から得られたオブジェクトの関連情報を撮影画像に重畳して表示する（表示処理）。オブジェクト認識部４０４は、動画を解析し、オブジェクトとしての二次元バーコードを検出する（認識処理）。オブジェクト管理部４０５は、オブジェクトとしての二次元バーコードを解析し、オブジェクト識別子を特定する。オブジェクト管理部４０５はまた、オブジェクト認識部４０４により検出されたオブジェクトの記録や、オブジェクトＤＢ１０２とのデータの授受を管理する。関連情報管理部４０６は、オブジェクト認識部４０４が認識した実世界のオブジェクトの関連情報としての動画を関連情報ＤＢ１０３から抽出する（抽出処理）。なお、関連情報が動画を生成するための情報である場合には、関連情報管理部４０６は、関連情報から動画を生成し、これを表示処理部４０３に送る。

監視部４０７は、重畳表示処理部４１０による重畳表示処理が開始すると、オブジェクト認識部４０４により認識されたオブジェクトが継続して認識されているか否かを監視する。そして、監視部４０７は、オブジェクトが認識されなくなると、重畳表示処理の進行状況に基づいて、重畳表示処理を継続するか停止するかを判断し、判断結果に応じて、重畳表示処理部４１０に指示を出す。

次に、本実施形態に係るタブレット端末１０１が利用するデータについて説明する。図５は、オブジェクトＤＢ１０２に登録されるオブジェクト情報５０１のデータ構成の一例を示す図である。オブジェクト識別子５０２は、実世界のオブジェクトを一意に特定する識別子である。関連情報識別子５０３は、この実世界のオブジェクトの関連情報にアクセスするための情報で、前述の通り、本実施形態に係る情報処理システムにおいては、関連情報識別子５０３として、関連情報の情報源のＵＲＬが登録される。また、関連情報が複数存在する場合は、１つのオブジェクト識別子５０２対応付けて、複数の関連情報識別子５０３が列挙される。

図６は、オブジェクト管理部４０５により利用される状況管理情報６０１のデータ構成の一例を示す図である。状況管理情報６０１は、オブジェクトに対する重畳表示処理の進行状況を管理するための情報である。オブジェクト識別子６０２には、オブジェクト管理部４０５により特定されたオブジェクト識別子が記録される。認識状態６０３には、タブレット端末１０１によるオブジェクトの認識処理に係る状態が記録される。本実施形態においては、認識状態として、以下に示す２つの状態のうち何れかが記録される。
認識状態「１」：検出
認識状態「２」：認識

また、処理状態６０４には、認識されたオブジェクトに対するオブジェクト処理に係る状態が記録される。本実施形態においては、処理状態として、以下に示す７つの状態のうち何れかが記録される。
処理状態「１」：オブジェクト認識済
処理状態「２」：オブジェクト識別子取得中
処理状態「３」：オブジェクト識別子取得済
処理状態「４」：関連情報取得中
処理状態「５」：関連情報取得済
処理状態「６」：表示中
処理状態「７」：表示済
なお、認識状態及び処理状態は、重畳表示処理部４１０の進行状況を示す情報の一例である。表示位置情報６０５は、タブレット端末１０１の表示装置２１０が関連情報のどの部分まで表示したかを記録するものである。本実施形態においては、動画であるため、最後に表示した動画フレーム番号が記録されるものとする。

図７〜図９は、タブレット端末１０１による、重畳表示処理を示すフローチャートである。Ｓ７０１において、受付部４０１は、入力装置３０５への開始指示の入力を待つ。受付部４０１は、開始指示を受け付けると（Ｓ７０１でＹｅｓ）、処理をＳ７０２へ進める。Ｓ７０２において、撮影制御部４０２は、撮影を開始する。次に、Ｓ７０３において、表示処理部４０３は、Ｓ７０２において得られた撮影画像の表示装置２１０への表示を開始する。

次に、Ｓ７０４において、オブジェクト認識部４０４は、撮影画像の解析を行い、オブジェクトとしての二次元バーコードを検出する。次に、Ｓ７０５において、オブジェクト認識部４０４は、検出されたオブジェクトが再検出オブジェクトか否かを確認する。ここで、再検出オブジェクトとは、過去に検出済みのオブジェクトと同一のオブジェクトである。具体的には、オブジェクト認識部４０４は、過去に検出済みのオブジェクトを記録しており、今回得られたオブジェクトと記録されているオブジェクトとを比較する。そして、オブジェクト認識部４０４は、両者の類似度が閾値以上である場合に、検出されたオブジェクトが再検出オブジェクトであると判断する。

オブジェクト認識部４０４は、検出されたオブジェクトが再検出オブジェクトの場合には（Ｓ７０５でＹｅｓ）、処理を図９に示すＳ９０１へ進める。オブジェクト認識部４０４は、検出されたオブジェクトが再検出オブジェクトでない場合には（Ｓ７０５でＮｏ）、処理をＳ７０６へ進める。Ｓ７０６において、オブジェクト管理部４０５は、状況管理情報６０１を生成し、これをＲＡＭ３０３等に記録する。なお、このとき、状況管理情報６０１のオブジェクト識別子６０２、認識状態６０３、処理状態６０４、表示位置情報６０５は、未設定である。次に、Ｓ７０７において、オブジェクト管理部４０５は、状況管理情報６０１の認識状態６０３に「１（検出）」をセットする。

次に、Ｓ７０８において、オブジェクト管理部４０５は、オブジェクトとしての二次元バーコードを復号化してオブジェクト識別子を特定する。次に、Ｓ７０９において、オブジェクト管理部４０５は、状況管理情報６０１の処理状態６０４に「１（オブジェクト認識済）」をセットする。次に、Ｓ７１０において、オブジェクト管理部４０５は、特定されたオブジェクト識別子を状況管理情報６０１のオブジェクト識別子６０２に設定する。次に、Ｓ７１１において、オブジェクト管理部４０５は、状況管理情報６０１の認識状態６０３を、「２（認識）」に更新する。

次に、Ｓ７１２において、オブジェクト管理部４０５は、通信装置３１０を介してオブジェクトＤＢ１０２に接続し、特定されたオブジェクト識別子がオブジェクトＤＢ１０２に登録されているか否かを確認する。オブジェクト管理部４０５は、特定されたオブジェクト識別子が登録されている場合には（Ｓ７１２でＹｅｓ）、処理をＳ７１３へ進める。オブジェクト管理部４０５は、特定されたオブジェクト識別子が登録されていない場合には（Ｓ７１２でＮｏ）、処理をＳ７１４へ進める。Ｓ７１３において、関連情報管理部４０６は、関連情報を重畳表示するための処理、即ち関連情報管理処理を行う。Ｓ７１３における詳細な処理については、図８を参照しつつ説明する。一方、Ｓ７１４において、オブジェクト管理部４０５は、Ｓ７０６において記録した状況管理情報６０１を削除し、重畳表示処理を終了する。

図８は、関連情報表示処理における、詳細な処理を示すフローチャートである。Ｓ８０１において、オブジェクト管理部４０５は、状況管理情報６０１の処理状態６０４を「２（オブジェクト情報取得中）」に更新する。次に、Ｓ８０２において、オブジェクト管理部４０５は、オブジェクトＤＢ１０２から、特定されたオブジェクト識別子を含むオブジェクト情報５０１を受信し、これをＲＡＭ３０３等に記録する。次に、Ｓ８０３において、オブジェクト管理部４０５は、状況管理情報６０１の処理状態を「３（オブジェクト情報取得済）」に変更する。

次に、Ｓ８０４において、関連情報管理部４０６は、状況管理情報６０１から関連情報識別子として記録されているＵＲＬを抽出する。次に、Ｓ８０５において、関連情報管理部４０６は、状況管理情報６０１の処理状態を「４（関連情報取得中）」に更新する。次に、Ｓ８０６において、関連情報管理部４０６は、ＵＲＬを利用して、関連情報ＤＢ１０３から関連情報を受信し、これをＲＡＭ３０３等に記録する。次に、Ｓ８０７において、関連情報管理部４０６は、状況管理情報６０１の処理状態を「５（関連情報取得済）」に更新する。

次に、Ｓ８０８において、表示処理部４０３は、関連情報としての動画を表示装置２１０が表示中の撮影画像上に重畳して表示する。これにより、拡張現実表示が実現される。なお、表示処理部４０３は、関連情報が電子映像を生成するための情報である場合には、関連情報から電子映像を生成し、これを撮影画像上に重畳して表示する。次に、Ｓ８０９において、表示処理部４０３は、処理状態を「６（表示中）」に更新する。次に、表示処理部４０３は、関連情報としての動画の再生が終了したか否かを確認する。表示処理部４０３は、動画の再生が終了すると（Ｓ８０９でＹｅｓ）、処理をＳ８１２へ進める。Ｓ８１２において、表示処理部４０３は、処理状態を「７（表示済）」に更新する。以上で、重畳表示処理が完了する。

次に、図９を参照しつつ、検出されたオブジェクトが再検出オブジェクトである場合の処理について説明する。Ｓ９０１において、オブジェクト管理部４０５は、Ｓ７０４において検出されたオブジェクトのオブジェクト識別子を特定する。次に、Ｓ９０２において、オブジェクト管理部４０５は、状況管理情報６０１のオブジェクト識別子６０２と、特定されたオブジェクト識別子とを比較する。オブジェクト管理部４０５は、両者が一致する場合には（Ｓ９０２でＹｅｓ）、処理をＳ９０３へ進める。オブジェクト管理部４０５は、両者が一致しない場合には（Ｓ９０２でＮｏ）、処理をＳ７０６へ進め、新たなオブジェクトが認識されたものとして、処理を進める。

Ｓ９０３において、オブジェクト管理部４０５は、処理状態を確認する。オブジェクト管理部４０５は、処理状態が「７（表示済）」の場合には（Ｓ９０３でＹｅｓ）、処理をＳ９０４へ進める。オブジェクト管理部４０５は、処理状態が「７（表示済）」以外である場合には（Ｓ９０３でＮｏ）、既に検出済みのオブジェクトに対し、Ｓ７０６〜Ｓ７１３の処理が実行中であるため、新たな処理を行うことなく、重畳表示処理を終了する。一方で、Ｓ９０４においては、オブジェクト管理部４０５は、状況管理情報６０１を削除する。以上で、重畳表示処理を終了する。以上のように、タブレット端末１０１は、同一のオブジェクトが再検出された場合には、重畳表示処理を最初から実行し直すのではなく、実行中の処理を継続する。

図１０は、タブレット端末１０１による、監視処理を示すフローチャートである。監視処理は、重畳表示処理の進行状況を監視する処理である。Ｓ１００１において、監視部４０７は、Ｓ７０４においてオブジェクトが検出されると、その後、オブジェクトが継続して検出（認識）できているかの監視を開始する。監視部４０７は、オブジェクトが検出されなくなった場合には（Ｓ１００１でＹｅｓ）、処理をＳ１００２へ進める。Ｓ１００２において、監視部４０７は、状況管理情報６０１が記録されているか否かを確認する。監視部４０７は、状況管理情報６０１が記録されている場合には（Ｓ１００２でＹｅｓ）、処理をＳ１００３へ進める。監視部４０７は、状況管理情報６０１が記録されていない場合には（Ｓ１００２でＮｏ）、監視処理を終了する。

Ｓ１００３において、監視部４０７は、状況管理情報６０１の認識状態６０３を確認する。認識状態６０３が「１（検出）」の場合には（Ｓ１００３でＹｅｓ）、処理をＳ１００６へ進める。監視部４０７はまた、認識状態６０３が「１」以外の場合には（Ｓ１００３でＮｏ）、処理をＳ１００４へ進める。Ｓ１００４において、監視部４０７は、処理状態６０４を確認する。監視部４０７は、処理状態６０４が「７（表示済）」の場合には（Ｓ１００４でＹｅｓ）、処理をＳ１００６へ進める。監視部４０７はまた、処理状態６０４が「７」以外の場合には（Ｓ１００４でＮｏ）、処理をＳ１００５へ進める。

Ｓ１００５において、監視部４０７は、重畳表示処理部４１０に対し、重畳表示処理の停止を指示することなく、そのまま監視処理を終了する。すなわち、この場合には、重畳表示処理部４１０は、重畳表示処理を継続して実行する。例えば、Ｓ１００５の実行時において、処理状態６０４に「２（オブジェクト情報取得中）」が設定され、Ｓ８０２の処理の実行中である場合には、オブジェクト管理部４０５は、Ｓ８０２の処理を継続する。また、Ｓ８０２、Ｓ８０３の処理が完了し、処理状態６０４に「３（オブジェクト情報取得済）」が設定されている場合には、オブジェクト管理部４０５は、処理をＳ８０４へ進める。また、例えば、Ｓ１００５の実行時に処理状態６０４に「５（表示中）」が設定され、表示装置２１０への関連情報の重畳表示中である場合には、オブジェクト管理部４０５は、重畳表示処理を継続する。

なお、他の例としては、Ｓ１００５において、関連情報を重畳表示する場合、すなわちオブジェクト検出の中断中における重畳表示の際には、表示処理部４０３は、重畳表示の表示形態を、オブジェクト検出の継続中の重畳表示の表示形態と異ならせてもよい。具体的には、表示処理部４０３は、関連情報のポップアップ表示の色を変更してもよい。また、他の例としては、表示処理部４０３は、オブジェクトが認識できなくなっていることを示すアイコンを追加表示してもよい。これにより、ユーザは、撮影視野が変動したことに容易に気付くことができる。

一方、Ｓ１００６において、監視部４０７は、状況管理情報６０１を削除する。次に、Ｓ１００７において、監視部４０７は、重畳表示処理部４１０に対し、実行中の重畳表示処理の停止を指示する。さらに、監視部４０７は、重畳表示処理部４１０に対し、重畳表示処理の再スタートを指示する。これに対応し、重畳表示処理部４１０は、実行中の重畳表示処理を停止し、新たな重畳表示処理をＳ７０１から再スタートする。このように、監視部４０７は、関連情報の再生表示が終了していた場合には、重畳表示処理の停止を指示する。

このように、本実施形態に係る情報処理システムにおいては、検出されていたオブジェクトが撮影視野から外れてしまった場合であっても、継続して関連情報を表示することができる。すなわち、情報処理システムは、安定して撮影画像の関連情報を重畳表示することができる。

（第２の実施形態）
第２の実施形態に係る情報処理システムは、ユーザにより選択されたオブジェクトに対してのみ、オブジェクトの検出が中断された場合に継続して拡張現実表示を行う。以下、第２の実施形態に係る情報処理システムについて、第１の実施形態に係る情報処理システムと異なる点について説明する。図１１は、指示管理情報１１０１のデータ構成の一例を示す図である。指示管理情報１１０１は、重畳表示処理部４１０により利用される情報である。指示管理情報１１０１は、オブジェクト識別子１１０２と、関連情報表示指示１１０３とを含む。オブジェクト識別子１１０２には、ユーザにより選択されたオブジェクトの識別子が記録される。関連情報表示指示１１０３には、ユーザから当該オブジェクトの関連情報の継続指示が入力されたか否かを示す情報が記録される。ここで、継続指示とは、オブジェクトが検出されなくなった場合に、オブジェクトに対応する関連情報の重畳表示の継続を指示する情報である。なお、継続指示が入力された場合には、関連情報表示指示１１０３に「正」が記録され、継続指示が入力されなかった場合には、関連情報表示指示１１０３には、「否」が記録される。

図１２及び図１３は、重畳表示処理を示すフローチャートである。なお、第１の実施形態に係る重畳表示処理の各処理と同一の処理には、同一の番号を付している。第２の実施形態に係るタブレット端末１０１は、Ｓ７０４の処理の後、Ｓ１２０１へ処理を進める。Ｓ１２０１において、表示処理部４０３は、問合せ画面を表示する。図１４は、問い合わせ画面１４０１の表示例を示す図である。問い合わせ画面１４０１は、オブジェクトが検出されなくなった場合に、関連情報の重畳表示を継続するか否かをユーザに問い合わせるための画面である。その後、Ｓ１２０２において、オブジェクト管理部４０５は、ユーザによる継続指示の入力を受け付けたか否かを確認する。オブジェクト管理部４０５は、継続指示の入力を受け付けると（Ｓ１２０２でＹｅｓ）、処理をＳ１２０３へ進める。

Ｓ１２０３において、オブジェクト管理部４０５は、「正」を示す指示管理情報１１０１を生成する。具体的に、オブジェクト管理部４０５は、Ｓ４０７において検出されたオブジェクトのオブジェクト識別子を特定し、これをオブジェクト識別子１１０２に記録する。さらに、関連情報表示指示１１０３に「正」を記録する。その後、オブジェクト管理部４０５は、生成した指示管理情報１１０１をＲＡＭ３０３等に記録し、その後、処理をＳ７０５へ進める。オブジェクト管理部４０５は、一定時間表示指示を受け付けない状態で、一定時間が経過すると、継続指示を受け付けなかったと判断し（Ｓ１２０２でＮｏ）、処理をＳ１２０４へ進める。Ｓ１２０４において、オブジェクト管理部４０５は、「否」を示す指示管理情報１１０１を生成する。その後、オブジェクト管理部４０５は、生成した指示管理情報１１０１をＲＡＭ３０３等に記録し、その後、重畳表示処理を終了する。

図１３は、Ｓ７０４において検出されたオブジェクトが再検出オブジェクトである場合の処理を示すフローチャートである。なお、第１の実施形態に係る処理と同一の処理には、同一の番号を付している。すなわち、Ｓ７０４において、オブジェクト認識部４０４は、検出されたオブジェクトが再検出オブジェクトである場合には（Ｓ７０４でＹｅｓ）、処理をＳ１３０１へ進める。Ｓ１３０１において、オブジェクト管理部４０５は、オブジェクト識別子を特定する。次に、Ｓ１３０２において、オブジェクト管理部４０５は、指示管理情報１１０１の関連情報表示指示１１０３を確認する。オブジェクト管理部４０５は、関連情報表示指示１１０３に「正」が記録されている場合には（Ｓ１３０２でＹｅｓ）、処理をＳ９０１へ進める。一方、オブジェクト管理部４０５は、関連情報表示指示１１０３に「否」が記録されている場合には（Ｓ１３０２でＮｏ）、重畳表示処理を終了する。

図１５は、監視処理を示すフローチャートである。なお、第１の実施形態に係る監視処理の各処理と同一の処理には、同一の番号を付している。第２の実施形態に係る監視処理においては、Ｓ１００１において、オブジェクトが検出されなくなった場合には（Ｓ１００１でＹｅｓ）、処理をＳ１５０１へ進める。Ｓ１５０１において、監視部４０７は、指示管理情報１１０１の関連情報表示指示１１０３を確認する。監視部４０７は、関連情報表示指示１１０３に「正」が記録されている場合には（Ｓ１５０１でＹｅｓ）、処理をＳ１００２へ進める。一方、監視部４０７は、関連情報表示指示１１０３に「否」が記録されている場合には（Ｓ１５０１でＮｏ）、監視処理を終了する。なお、第２の実施形態に係る情報処理システムのこれ以外の構成及び処理は、他の実施形態に係る情報処理システムの構成及び処理と同様である。

以上のように、第２の実施形態に係る情報処理システムは、ユーザの意図に応じて、オブジェクトが認識されなくなった場合に関連情報の表示を継続して行うか否かを選択することができる。すなわち、情報処理システムは、ユーザの指示に従うことにより、オブジェクトの認識状態の変化が不意な撮影視野の変動によるものなのか、ユーザの意図的な撮影視野の変更によるものなのかを判断することが可能となる。それにより、情報処理システムは、前者なら関連情報の表示状態を維持し、後者なら関連情報の表示を終了するというように、適切な処理を実行することが可能となる。さらに、情報処理システムは、不要な関連情報が表示されるのを抑制することで情報の閲覧性を向上させることができる。

第２の実施形態に係る情報処理システムの変更例としては、関連情報の表示を行うか否かをユーザに問い合わせるタイミングは、実施形態に限定されるものではない。情報処理システムは、例えば、関連情報を受信した後、又は関連情報の表示が開始された後にユーザへの問い合わせ（問い合わせ画面の表示）を行ってもよい。

（第３の実施形態）
第３の実施形態に係る情報処理システムは、関連情報を表示中のオブジェクトが撮影視野から外れた状態で一定時間が経過すると、重畳表示処理を停止する。以下、第３の実施形態に係る情報処理システムについて、第１の実施形態に係る情報処理システムと異なる点について説明する。図１６は、第３の実施形態に係るタブレット端末１０１のハードウェア構成を示す図である。第３の実施形態に係るタブレット端末１０１は、時間計測を行うタイマー１６０１をさらに有している。

図１７は、第３の実施形態に係る監視処理を示すフローチャートである。監視部４０７は、Ｓ１００４において、処理状態６０４が「７」以外の場合には（Ｓ１００４でＮｏ）、処理をＳ１７０１へ進める。Ｓ１７０１において、監視部４０７は、タイマー１６０１に待ち時間Ｔ１をセットする。ここで、Ｔ１は、予め設定された値であり、ＲＯＭ３０２等に記録されている。さらに、監視部４０７は、タイマー１６０１に対し、Ｔ１の時間計測の開始を指示する。タイマー１６０１は、開始指示に従い、Ｔ１の時間計測を開始する。その後、監視部４０７は、処理をＳ１００５へ進め、重畳表示処理部４１０に対し、重畳表示処理の停止を指示することなく、さらに処理をＳ１７０２へ進める。

Ｓ１７０２において、監視部４０７は、Ｔ１が経過したか否かを確認する。監視部４０７は、Ｔ１が経過した場合には（Ｓ１７０２でＹｅｓ）、処理をＳ１７０５へ進める。監視部４０７は、Ｔ１が経過していない場合には（Ｓ１７０２でＮｏ）、処理をＳ１７０３へ進める。Ｓ１７０３において、監視部４０７は、Ｓ７０５において検出されたオブジェクトが再検出されたか否かを確認する。監視部４０７は、オブジェクトが再検出された場合には（Ｓ１７０３でＹｅｓ）、処理をＳ１７０４へ進める。監視部４０７は、オブジェクトが再検出されていない場合には（Ｓ１７０３でＮｏ）、処理をＳ１７０２へ進める。なお、監視部４０７は、新たなオブジェクトが検出された場合には、オブジェクトの再検出ではないため、処理をＳ１７０２へ進める。Ｓ１７０４において、監視部４０７は、タイマー１６０１にＴ１の時間計測の終了を指示し、監視処理を終了する。

Ｓ１７０５において、監視部４０７は、タイマー１６０１にＴ１の時間計測の終了を指示する。次に、Ｓ１７０６において、監視部４０７は、重畳表示処理部４１０に対し、実行中の重畳表示処理の停止を指示する。これに対応し、重畳表示処理部４１０は、実行中の重畳表示処理を停止する。次に、Ｓ１７０７において、監視部４０７は、処理状態を確認する。監視部４０７は、処理状態が「５（関連情報取得済み）」又は「６（表示中）」の場合には（Ｓ１７０７でＹｅｓ）、処理をＳ１７０８へ進める。監視部４０７は、処理状態が「５」及び「６」以外の場合には（Ｓ１７０７でＮｏ）、処理をＳ１７０９へ進める。Ｓ１７０８において、監視部４０７は、ＲＡＭ３０３等に記録されている関連情報を削除する。次に、Ｓ１７０９において、監視部４０７は、ＲＡＭ３０３等に記録されている状況管理情報６０１を削除する。以上で、監視処理が終了する。なお、第３の実施形態に係る情報処理システムのこれ以外の構成及び処理は、他の実施形態に係る情報処理システムの構成及び処理と同様である。

以上のように、第３の実施形態に係る情報処理システムは、一定時間が経過するまで、実行中の重畳表示処理を継続し、一定時間が経過した場合に、重畳表示処理を終了する。例えば、タブレット端末１０１を携帯するユーザの不意な動き等により、オブジェクトが撮影視野から外れた場合には、その後直ちにオブジェクトが撮影視野に戻ると推測される。一方で、オブジェクトが撮影視野から外れたままある程度の時間が経過した場合には、ユーザが意図的にオブジェクトを撮影視野から外したと推測される。これに対応し、第３の実施形態に係る情報処理システムは、オブジェクトが検出されなくなってからの時間を考慮して、重畳表示処理を継続することとした。これにより、情報処理システムは、撮影画像中からオブジェクトが消失した理由がユーザの意図によるものか否かに応じて、適切な表示処理を行うことができる。

また、第４の実施形態に係る情報処理システムの変更例について説明する。タブレット端末１０１は、Ｔ１の経過前にオブジェクトが再検出され、実行中の重畳表示処理を継続する場合の、関連情報の重畳表示の表示形態を、オブジェクト検出が中断することなく継続中である場合の重畳表示の表示形態と異ならせてもよい。

（第４の実施形態）
第４の実施形態に係る情報処理システムは、第３の実施形態に係る情報処理システムと同様に、オブジェクトが検出されなくなってからの経過時間を考慮して、重畳表示処理を制御する。そして、第４の実施形態に係る情報処理システムにおいては、タブレット端末１０１は、重畳表示の停止後、再度オブジェクトが検出された場合に、重畳表示を再開する。さらに、タブレット端末１０１は、重畳表示を再開する際に、関連情報の前回表示時の停止位置から続けて再生表示する。以下、第４の実施形態に係る情報処理システムについて、第３の実施形態に係る情報処理システムと異なる点について説明する。

図１８及び図１９は、第４の実施形態に係る監視処理を示すフローチャートである。図１８に示すように、Ｓ１７０５の処理の後、監視部４０７は、処理をＳ１８０１へ進める。Ｓ１８０１において、監視部４０７は、処理状態を確認する。監視部４０７は、処理状態が「６（表示中）」の場合には（Ｓ１８０１でＹｅｓ）、処理をＳ１９０１（図１９）へ進める。監視部４０７は、処理状態が「６」以外の場合には（Ｓ１８０１でＮｏ）、処理をＳ１７０６へ進める。そして、Ｓ１７０６の処理の後、監視部４０７は、処理をＳ１８０２へ進める。Ｓ１８０２において、監視部４０７は、処理状態を確認する。監視部４０７は、処理状態が「５（関連情報取得済）」の場合には（Ｓ１８０２でＹｅｓ）、処理をＳ１７０８へ進める。監視部４０７は、処理状態が「５」以外の場合には（Ｓ１８０２でＮｏ）、処理をＳ１７０９へ進める。

図１９に示すＳ１９０１において、監視部４０７は、状況管理情報６０１の表示位置情報６０５に、関連情報の表示を停止した際に表示されていた再生位置、すなわち停止位置を記録する（記録処理）。次に、Ｓ１９０２において、監視部４０７は、タイマー１６０１に、新たな待ち時間Ｔ２をセットする。ここで、Ｔ２は、予め設定された値であり、ＲＯＭ３０２等に記録されている。なお、Ｔ１とＴ２は等しい値でもよく、異なる値でもよい。さらに、監視部４０７は、タイマー１６０１に対し、Ｔ２の時間計測の開始を指示する。タイマー１６０１は、開始指示に従い、Ｔ２の時間計測を開始する。次に、Ｓ１９０３において、監視部４０７は、重畳表示処理部４１０に対し、関連情報の重畳表示の停止を指示する。そして、重畳表示処理部４１０は、指示に従い、重畳表示を停止する。

次に、Ｓ１９０４において、監視部４０７は、Ｔ２が経過したか否かを確認する。監視部４０７は、Ｔ２が経過した場合には（Ｓ１９０４でＹｅｓ）、処理をＳ１９０９へ進める。監視部４０７は、Ｔ２が経過していない場合には（Ｓ１９０４でＮｏ）、処理をＳ１９０５へ進める。Ｓ１９０５において、監視部４０７は、Ｓ７０５において検出されたオブジェクトが再検出されたか否かを確認する。監視部４０７は、オブジェクトが再検出された場合には（Ｓ１９０５でＹｅｓ）、処理をＳ１９０６へ進める。監視部４０７は、オブジェクトが再検出されない場合には（Ｓ１９０５でＮｏ）、処理をＳ１９０４へ進める。Ｓ１９０６において、監視部４０７は、タイマー１６０１に対し、Ｔ２の時間計測の停止を指示する。タイマー１６０１は、指示に従い、時間計測を停止する。次に、Ｓ１９０７において、監視部４０７は、状況管理情報６０１の表示位置情報６０５を読み出し、停止位置を再生開始位置として決定する。次に、監視部４０７は、決定した再生開始位置から表示情報の重畳表示（Ｓ８０８）を再スタートする。以上で、監視処理が終了する。

一方、Ｓ１９０９においては、監視部４０７は、タイマー１６０１に対し、Ｔ２の時間計測の停止を指示する。タイマー１６０１は、指示に従い、時間計測を停止する。次に、Ｓ１９１０において、監視部４０７は、ＲＡＭ３０３等に記録されている関連情報を削除する。次に、Ｓ１９１１において、監視部４０７は、ＲＡＭ３０３等に記録されている状況管理情報を削除する。以上で、監視処理が終了する。なお、第４の実施形態に係る情報処理システムのこれ以外の構成及び処理は、他の実施形態に係る情報処理システムの構成及び処理と同様である。

以上のように、本実施形態に係る情報処理システムにおいては、タブレット端末１０１は、既に表示済みの部分をスキップし、前回の停止位置から残りの部分の再生表示を開始することができる。これにより、ユーザは、同じ情報を繰り返し見る必要がなくなり、効率的に情報を得ることができる。

なお、第４の実施形態に係る情報処理システムの第１の変更例としては、タブレット端末１０１は、前回の停止位置から再生表示を開始するか、関連情報の先頭から再度再生表示を行うかをユーザからの指示に従い切り替えることとしてもよい。

また、第２の変更例としては、関連情報は、静止画やテキストであってもよい。関連情報がスクロール形式で順次表示される静止画であるとする。この場合、監視部４０７は、Ｓ１９０１において、表示済みの領域を識別する情報を、状況管理情報６０１の表示位置情報６０５に記録する。また、関連情報がスクロール形式で順次表示されるテキストの場合には、監視部４０７は、表示済みの行数を表示位置情報６０５に記録する。

（第５の実施形態）
第５の実施形態に係る情報処理システムにおいては、タブレット端末１０１は、タブレット端末１０１本体の動きに基づいて、重畳表示処理を制御する。以下、第５の実施形態に係る情報処理システムについて、他の実施形態に係る情報処理システムと異なる点について説明する。図２０は、タブレット端末１０１のハードウェア構成を示す図である。第５の実施形態に係るタブレット端末１０１は、タブレット端末１０１の動きや姿勢を検出する加速度センサ２００１をさらに有している。

図２１は、第５の実施形態に係る監視処理を示すフローチャートである。Ｓ２１０１において、監視部４０７は、加速度センサ２００１に対し、計測開始を指示する。加速度センサ２００１は、開始指示に従い、動き量の計測を開始する。その後、監視部４０７は、処理をＳ１００１へ進める。Ｓ１００１において、監視部４０７は、オブジェクトが検出されなくなった場合には（Ｓ１００１でＹｅｓ）、処理をＳ２１０２へ進める。Ｓ２１０２において、監視部４０７は、加速度センサ２００１による計測結果としての動き量を取得する（取得処理）。次に、Ｓ２１０３において、監視部４０７は、計測結果として得られた計測値と、閾値Ｓ１，Ｓ２とを比較する。ここで、閾値Ｓ１，Ｓ２は、予め定められた値であり、ＲＯＭ３０２等に記録されているものとする。なお、Ｓ２は、Ｓ１に比べて小さい値である。

監視部４０７は、計測値が閾値Ｓ１よりも小さく、かつ閾値Ｓ２よりも大きい場合には（Ｓ２１０３でＹｅｓ）、処理をＳ１００２へ進める。一方で、監視部４０７は、計測値が閾値Ｓ１以上、又は閾値Ｓ２以下の場合には（Ｓ２１０３でＮｏ）、処理をＳ２１０４へ進め、重畳表示処理を継続する。閾値Ｓ１以上となるような急峻な動きが計測された場合には、オブジェクトが撮影視野から外れたのは、タブレット端末１０１のユーザの意図しない動きが原因であり、ユーザの意図によるものではないと推測される。また、動きが少なく、閾値Ｓ２以下となる場合には、撮影画像からオブジェクトが検出されなくなったのは、タブレット端末１０１とオブジェクトの間に遮蔽物が移動してきた場合等、外的環境の変動が原因であり、ユーザの意図によるものではないと推測される。そこで、これらの場合には、タブレット端末１０１は、重畳表示処理を継続することとした。なお、第５の実施形態に係る情報処理システムのこれ以外の構成及び処理は、他の実施形態に係る情報処理システムの構成及び処理と同様である。

以上のように、第５の実施形態に係る情報処理システムは、撮影画像中からオブジェクトが消失した理由がユーザの意図によるものか否かを推測し、推測結果に応じて、適切な表示処理を行うことができる。

＜その他の実施形態＞
また、本発明の目的は、以下のようにすることによって達成されることは言うまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。
そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、ソフトウェアのプログラムコードは、ネットワークを介して、そのシステムあるいは装置に供給されてもよい。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

以上、上述した各実施形態によれば、不安定な位置変動を行うデバイスを用いた拡張現実表示システムにおいて、安定して撮影画像の関連情報を重畳表示することを目的とする。ことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０１ タブレット端末
１０２ オブジェクトＤＢ
１０３ 関連情報ＤＢ

Claims (14)

1. 表示装置に表示中の撮影画像からオブジェクトを認識する認識処理と、前記オブジェクトに関連する関連情報を抽出する抽出処理と、前記関連情報を、前記撮影画像に重畳して前記表示装置に表示する表示処理とを含む重畳表示処理を行う重畳表示手段と、
   前記認識処理において認識されたオブジェクトが継続して認識されているか否かを監視する監視手段と
   を有し、
   前記重畳表示手段は、前記オブジェクトが前記監視手段により認識されなくなった場合に、前記重畳表示処理の進行状況に基づいて、前記重畳表示処理を継続又は停止することを特徴とする情報処理装置。
2. 前記重畳表示手段は、前記オブジェクトが認識されなくなった時に、前記表示装置に前記オブジェクトの表示中である場合には、前記重畳表示処理を継続することを特徴とする請求項１に記載の情報処理装置。
3. 前記関連情報は、動画像であり、
   前記重畳表示手段は、前記オブジェクトが認識されなくなった時に、前記関連情報としての動画像の再生表示が終了していた場合には、前記重畳表示処理を停止することを特徴とする請求項１に記載の情報処理装置。
4. 前記重畳表示手段は、前記オブジェクトが認識されなくなってから一定時間が経過した場合に、前記重畳表示処理を停止することを特徴とする請求項１乃至３何れか１項に記載の情報処理装置。
5. 前記関連情報は、動画像であり、
   重畳表示を停止したときに表示されていた関連情報の停止位置を記録する記録手段をさらに有し、
   前記重畳表示手段は、前記重畳表示処理が停止した後、認識されなくなったオブジェクトが再び認識された場合に、前記関連情報を前記停止位置から再生表示することを特徴とする請求項４に記載の情報処理装置。
6. 前記関連情報は、静止画又はテキスト情報であり、
   前記重畳表示手段は、前記表示処理において、前記関連情報を一部ずつ順次表示し、
   重畳表示を停止したときに表示されていた関連情報の停止位置を記録する記録手段をさらに有し、
   前記重畳表示手段は、前記重畳表示処理が停止した後、認識されなくなったオブジェクトを再び認識した場合に、前記関連情報を前記停止位置から重畳表示することを特徴とする請求項４に記載の情報処理装置。
7. 前記情報処理装置の動き量を取得する取得手段をさらに有し、
   前記重畳表示手段は、前記オブジェクトを認識できなくなった時に、前記動き量が第１の閾値よりも大きい場合に、前記重畳表示処理を継続することを特徴とする請求項１乃至６何れか１項に記載の情報処理装置。
8. 前記重畳表示手段は、前記オブジェクトを認識できなくなった時に、前記動き量が前記第１の閾値に比べて小さい第２の閾値よりも小さい場合に、前記重畳表示処理を継続することを特徴とする請求項７に記載の情報処理装置。
9. 前記情報処理装置の動き量を取得する取得手段をさらに有し、
   前記重畳表示手段は、前記オブジェクトを認識できなくなった時に、前記動き量が閾値よりも小さい場合に、前記重畳表示処理を継続することを特徴とする請求項１乃至６何れか１項に記載の情報処理装置。
10. ユーザから重畳表示処理の継続指示を受け付ける受付手段をさらに有し、
    前記監視手段は、前記受付手段が前記継続指示を受け付けた場合に、前記重畳表示処理を監視することを特徴とする請求項１乃至９何れか１項に記載の情報処理装置。
11. 表示装置に表示中の撮影画像からオブジェクトを認識する認識処理と、前記オブジェクトに関連する関連情報を抽出する抽出処理と、前記関連情報を、前記撮影画像に重畳して前記表示装置に表示する表示処理とを含む重畳表示処理を行う重畳表示手段と、
    前記認識処理において認識されたオブジェクトが継続して認識されているか否かを監視する監視手段と
    を有し、
    前記重畳表示手段は、前記オブジェクトが前記監視手段により認識されなくなった場合に、前記重畳表示処理の進行状況に基づいて、前記重畳表示処理を継続又は停止することを特徴とする情報処理システム。
12. 情報処理装置が実行する情報処理方法であって、
    表示装置に表示中の撮影画像からオブジェクトを認識する認識処理と、前記オブジェクトに関連する関連情報を抽出する抽出処理と、前記関連情報を、前記撮影画像に重畳して前記表示装置に表示する表示処理とを含む重畳表示処理を行う重畳表示ステップと、
    前記認識処理において認識されたオブジェクトが継続して認識されているか否かを監視する監視ステップと
    を含み、
    前記重畳表示ステップにおいて、前記オブジェクトが前記監視ステップにおいて認識されなくなった場合に、前記重畳表示処理の進行状況に基づいて、前記重畳表示処理を継続又は停止することを特徴とする情報処理方法。
13. 情報処理システムが実行する情報処理方法であって、
    表示装置に表示中の撮影画像からオブジェクトを認識する認識処理と、前記オブジェクトに関連する関連情報を抽出する抽出処理と、前記関連情報を、前記撮影画像に重畳して前記表示装置に表示する表示処理とを含む重畳表示処理を行う重畳表示ステップと、
    前記認識処理において認識されたオブジェクトが継続して認識されているか否かを監視する監視ステップと
    を含み、
    前記重畳表示ステップにおいて、前記オブジェクトが前記監視ステップにおいて認識されなくなった場合に、前記重畳表示処理の進行状況に基づいて、前記重畳表示処理を継続又は停止することを特徴とする情報処理方法。
14. コンピュータを、
    表示装置に表示中の撮影画像からオブジェクトを認識する認識処理と、前記オブジェクトに関連する関連情報を抽出する抽出処理と、前記関連情報を、前記撮影画像に重畳して前記表示装置に表示する表示処理とを含む重畳表示処理を行う重畳表示手段と、
    前記認識処理において認識されたオブジェクトが継続して認識されているか否かを監視する監視手段と
    して機能させ、
    前記重畳表示手段は、前記オブジェクトが前記監視手段により認識されなくなった場合に、前記重畳表示処理の進行状況に基づいて、前記重畳表示処理を継続又は停止することを特徴とするプログラム。

Images