JP6932907B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

近年、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に関する技術が注目されている。ＡＲのアプリケーションには、いわゆるスマートフォンなどでユーザによって撮影された画像に写る対象を認識し、認識した対象に関する情報を画像に重ねて表示するものがある。このようなＡＲのアプリケーションに関する技術では、対象として画像に写る二次元マーカを認識して、対応する情報を表示するアプリケーション（マーカ型ＡＲのアプリケーション）に関するものがある。例えば、特許文献１には、二次元マーカを検出できなくなった場合でも、二次元マーカに対応する画像の表示を継続させるように処理を行う技術が記載されている。

特開２０１３−１３４５３８号公報

しかしながら、上述した特許文献１に記載された技術では、二次元マーカが偶然検出できなくなったのか、ユーザが意図的に検出させないように変化させたものなのかを判定することができず、必ずしもユーザにとって利便性が高いものとは言えなかった。

本発明は、このような状況に鑑みてなされたものであり、ユーザの利便性を高めた画像表示処理を行うことを目的とする。

上記目的を達成するため、本発明の一態様の情報処理装置は、
識別情報画像が表示される識別情報表示部を備える電子機器から識別情報を取得する識別情報取得手段と、
前記識別情報に応じた仮想表示を表示部で行うよう制御する表示制御手段と、
前記識別情報取得手段によって前記識別情報が取得されなくなった場合に、前記表示部における仮想表示を継続するか否かを判定する判定手段と、を備え、
前記判定手段は、前記電子機器が備える前記識別情報表示部が傾斜したことを示す傾斜発生通知を前記電子機器から取得した場合に前記仮想表示を継続的に行うと判定し、
前記表示制御手段は、前記判定手段によって、仮想表示を継続的に行うと判定された場合に、前記識別情報に基づいた仮想表示を継続的に行うように前記表示部を制御する、
ことを特徴とする。

本発明によれば、ユーザの利便性を高めた画像表示処理を行うことができる。

本発明の情報処理システムの一実施形態に係るＡＲ表示システムＳのシステム構成を示すシステム構成図である。 本実施形態におけるＡＲ表示を説明するための模式図である。 本発明の一実施形態に係る携帯端末１及びリスト端末２のハードウェアの構成を示すブロック図である。 図３の携帯端末１及びリスト端末２の機能的構成のうち、ＡＲ表示処理及び通知処理を実行するための機能的構成を示す機能ブロック図である。 図４の機能的構成を有する図３の携帯端末１が実行するＡＲ表示処理の流れを説明するフローチャートである。 図４の機能的構成を有する図３のリスト端末２が実行する通知処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の情報処理システムの一実施形態に係るＡＲ表示システムＳのシステム構成を示すシステム構成図である。
ＡＲ表示システムＳは、図１に示すように、携帯端末１と、リスト端末２と、を含む。

携帯端末１は、識別情報となるマーカを含む領域を撮影する撮影機能と、リスト端末２と通信を行う通信機能と、撮影した画像及び撮影したマーカに対応した結果を表示する表示機能と、を有する。

リスト端末２は、マーカ（本実施形態においては、２次元コード）を表示する表示機能と、携帯端末１と通信を行う通信機能と、端末の姿勢等を検出するセンシング機能と、を有する。

このように構成されるＡＲ表示システムＳでは、リスト端末２に表示されるマーカを撮影して、マーカに対応する表示を携帯端末１で行う。本実施形態においては、ライブビュー表示画面中の対応箇所に、マーカに対応する画像を背景に重畳させて行う。携帯端末１の画面には、携帯端末１で撮影している風景と共に、撮影されるマーカに対応する位置に、マーカに対応する画像を仮想的に表示する。以下、このような表示を、「ＡＲ表示」という。

本実施形態のＡＲ表示システムＳでは、マーカが撮影されていた状態からマーカが撮影されなくなった場合に、例えば、ユーザが意図したリスト端末２の姿勢変化によるものである場合には、マーカに対応する画像の表示を継続して行う。

このように、マーカが撮影されているか否かに関わらず、リスト端末２の姿勢の変化に応じて、マーカに対応する画像表示をすることで、例えば、マーカを撮影してＡＲ表示を維持したいというユーザの意図とは異なり、リスト端末２が装着されている手が一時的に動いてしまったり、撮影角度が一時的に変わってしまったりして、マーカが一時的に撮影されなくなった場合でも、マーカに対応する表示を行うことができるために、ユーザの意図しない要因によってマーカが読取れ無くなった場合でも、安定したＡＲ表示を行うことができる。

図２は、本実施形態におけるＡＲ表示を説明するための模式図である。
携帯端末１では、図２に示すように、ＡＲ表示を行わずにマーカをそのまま表示する［通常表示］でマーカＭを含む領域を撮影した場合には、マーカＭの表示画面が表示される。

これに対して、［ＡＲ表示］でマーカＭを含む領域を撮影した場合には、マーカＭに対応した画像（以下、「ＡＲ画像」という。）が表示される。本実施形態において、ＡＲ画像は、例えば、円筒形状の３次元画像が表示される。

マーカＭが読取り可能に撮影されている状態から、例えば、リスト端末２の角度が変わって、マーカＭを表示していた表示面が読取り可能に撮影されなくなった場合には、通常であれば、マーカＭが読取り可能に撮影されなくなったことに対応して、マーカに対応する画像ＡＲを表示させない。
しかしながら、本実施形態においては、リスト端末２の角度が変わったことによって、例えば、携帯端末１がマーカＭを読取り可能な方向とは異なる方向にリスト端末２の表示画面が向いてしまい、マーカＭが撮影されなくなった場合には、ユーザが意図していない一時的なマーカの消失であると判断し、ＡＲ画像を継続して表示する。

本実施形態において、継続して表示するＡＲ画像は、例えば、マーカＭが最後に撮影されていた位置に対応する位置、即ち、ＡＲ画像が最後に表示されていた位置に継続して表示する。

図３は、本発明の一実施形態に係る携帯端末１及びリスト端末２のハードウェアの構成を示すブロック図である。
携帯端末１は、例えば、スマートフォンとして構成される。

携帯端末１は、図３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、センサ部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

センサ部１７は、加速度センサ、ジャイロセンサ等の各種センサにより構成され、出力されるセンサ情報から装置の姿勢情報を取得可能になる。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

また、リスト端末２は、例えば、スマートウォッチとして構成される。

リスト端末２は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、バス１４と、入出力インターフェース１５と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、を備えている。
リスト端末２は、携帯端末１とは、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、バス１４と、入出力インターフェース１５と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１の構成が同一である。リスト端末２においては、携帯端末１と同様の構成については説明を省略する。

なお、以下において、携帯端末１とリスト端末２のハードウェア構成の説明を分ける場合には、異なる符号を付すものとし、携帯端末１では、構成の末尾に「−１」を付し、リスト端末２は、構成の末尾に「−２」を付す。即ち、携帯端末１では、ＣＰＵ１１−１乃至ドライブ２２−１となり、リスト端末２では、ＣＰＵ１１−２乃至通信部２１−２となる。

図４は、図３の携帯端末１及びリスト端末２の機能的構成のうち、ＡＲ表示処理及び通知処理を実行するための機能的構成を示す機能ブロック図である。

ＡＲ表示処理とは、リスト端末２に表示されるマーカを認識してＡＲ表示を行う一連の処理をいう。ＡＲ表示処理では、マーカが認識できなくなった状態においても、リスト端末２の状態（姿勢）に応じて、ＡＲ画像の表示を継続するようにＡＲ表示を行う。

また、通知処理とは、マーカを表示した状態において、許容できる以上の姿勢変化（本実施形態においては、所定以上の傾斜が発生）があった場合に、携帯端末１に対して、姿勢変化があった旨の通知（本実施形態においては、以下、「傾斜発生通知」という。）を行う一連の処理をいう。

ＡＲ表示処理を実行する場合には、図４に示すように、ＣＰＵ１１−１において、撮影制御部５１と、画像解析部５２と、表示制御部５３と、通信制御部５４と、が機能する。

また、記憶部２０の一領域には、ＡＲ画像記憶部７１が設定される。
ＡＲ画像記憶部７１には、マーカの形状に対応付けられたＡＲ画像のデータが記憶される。ＡＲ画像記憶部７１には、例えば、図２に示すような三次元画像のデータが記憶される。

撮影制御部５１は、撮影処理を実行するように撮像部１６−１を制御する。本実施形態においては、ライブビュー画像を逐次出力させるライブビュー撮影を行う。
具体的には、撮影制御部５１は、例えば、撮影を行うように撮像部１６−１を制御することができる。

画像解析部５２は、例えば、撮影した画像を解析して、マーカの有無を検出する。
具体的には、画像解析部５２は、例えば、撮影した画像を解析して、マーカを認識したか否かを判定することができる。また、画像解析部５２は、画像を解析して、マーカ消失したか否かを判定することができる。また、画像解析部５２は、画像を解析して、マーカ復帰したか否かを判定することができる。また、画像解析部５２は、一定時間経過したか否かを判定することができる。

表示制御部５３は、画像を表示するように出力部１９−１を制御する。
具体的には、表示制御部５３は、例えば、ライブビュー画像上にマーカに対応するＡＲ画像を表示するように出力部１９−１を制御することができる。また、表示制御部５３は、表示している画像からＡＲ画像を消去するように出力部１９−１を制御することができる。また、表示制御部５３は、同じ位置にＡＲ画像の表示を継続するように出力部１９−１を制御することができる。

通信制御部５４は、リスト端末２と通信を行うように通信部２１を制御する。
具体的には、通信制御部５４は、例えば、通信部２１−１を介して、傾斜発生通知を受信したか否かを判定することができる。

通知処理を実行する場合には、図４に示すように、ＣＰＵ１１−２において、表示制御部９１と、センサ情報解析部９２と、通信制御部９３と、が機能する。

表示制御部９１は、画像を表示するように出力部１９−１を制御する。
具体的には、表示制御部９１は、例えば、マーカの画像を表示するように出力部１９−１を制御することができる。

センサ情報解析部９２は、センサ部１７−２から取得したセンサ情報を解析して、装置の姿勢を検出する。
具体的には、センサ情報解析部９２は、例えば、センサ部１７−２から取得したセンサ情報を解析して、画面方向を取得することができる。また、センサ情報解析部９２は、センサ情報を解析して、傾斜が発生したか否かを判定することができる。

通信制御部９３は、携帯端末１と通信を行うように通信部２１を制御する。
具体的には、通信制御部９３は、例えば、傾斜発生通知を送信するように通信部２１−２を制御することができる。

図５は、図４の機能的構成を有する図３の携帯端末１が実行するＡＲ表示処理の流れを説明するフローチャートである。
ＡＲ表示処理は、ユーザによる入力部１８−１へのＡＲ表示処理開始の操作により開始される。

ステップＳ１１において、撮影制御部５１は、撮影を行うように撮像部１６−１を制御する。

ステップＳ１２において、画像解析部５２は、撮影した画像を解析して、マーカを認識したか否かを判定する。
マーカを認識した場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に進む。
これに対して、マーカを認識していない場合には、ステップＳ１２においてＮＯと判定されて、処理はステップＳ１１に戻る。

ステップＳ１３において、表示制御部５３は、ライブビュー画像上にマーカに対応するＡＲ画像を表示するように出力部１９−１を制御する。

ステップＳ１４において、画像解析部５２は、画像を解析して、マーカが消失したか否かを判定する。
マーカが消失した場合には、ステップＳ１４においてＹＥＳと判定されて、処理はステップＳ１５に進む。
これに対して、マーカが消失していない場合には、ステップＳ１４においてＮＯと判定されて、処理はステップＳ１３に戻る。

ステップＳ１５において、通信制御部５４は、通信部２１−１を介して、傾斜発生通知を受信したか否かを判定する。
傾斜発生通知を受信した場合には、ステップＳ１５においてＹＥＳと判定されて、処理はステップＳ１７に進む。
これに対して、傾斜発生通知を受信しない場合には、ステップＳ１５においてＮＯと判定されて、処理はステップＳ１６に進む。

ステップＳ１６において、表示制御部５３は、表示している画像からＡＲ画像を消去するように出力部１９−１を制御する。その後、処理はステップＳ１３に戻る。

ステップＳ１７において、表示制御部５３は、同じ位置にＡＲ画像の表示を継続するように出力部１９−１を制御する。

ステップＳ１８において、画像解析部５２は、画像を解析して、マーカが復帰したか否かを判定する。
マーカが復帰した場合には、ステップＳ１８においてＹＥＳと判定されて、処理はステップＳ２０に進む。
これに対して、マーカが復帰していない場合には、ステップＳ１８においてＮＯと判定されて、処理はステップＳ１９に進む。

ステップＳ１９において、画像解析部５２は、一定時間経過したか否かを判定する。
一定時間経過した場合には、ステップＳ１９においてＹＥＳと判定されて、処理はステップＳ１６に戻る。
これに対して、一定時間経過していない場合には、ステップＳ１９においてＮＯと判定されて、処理はステップＳ１７に戻る。

ステップＳ２０において、表示制御部５３は、表示している画像からＡＲ画像を消去するように出力部１９を制御する。その後、処理はステップＳ１３に戻る。

図６は、図４の機能的構成を有する図３のリスト端末２が実行する通知処理の流れを説明するフローチャートである。
通知処理は、ユーザによる入力部１８−２への通知処理開始の操作により開始される。

ステップＳ４１において、表示制御部９１は、マーカを表示するように出力部１９−２を制御する。

ステップＳ４２において、センサ情報解析部９２は、センサ部１７−２から取得したセンサ情報を解析して、画面方向を取得する。

ステップＳ４３において、センサ情報解析部９２は、センサ情報を解析して、傾斜が発生したか否かを判定する。
傾斜発生した場合には、ステップＳ４３においてＹＥＳと判定されて、処理はステップＳ４４に進む。
これに対して、傾斜発生しない場合には、ステップＳ４３においてＮＯと判定されて、処理はステップＳ４２に戻る。

ステップＳ４４において、通信制御部９３は、傾斜発生通知を送信するように通信部２１−２を制御する。その後、処理はステップＳ４１に戻る。

従来のＡＲ画像においては、主に平面状に設置したマーカを携帯端末１で撮影し、映像の中にマーカと関連付けた画像を重ね合わせて表示している。しかし、マーカを平面上に設置するのではなくリスト端末２の画面に表示してこれを撮影する場合、装着した腕が動いて画面が傾くと携帯端末１側でマーカを認識できなくなってしまう可能性がある。

リスト端末２の画面にマーカを表示し、これを携帯端末１で撮影してマーカと関連付けたＡＲ画像を重ね合わせて表示し、リスト端末２が画面の角度の大きな変化を感知した場合には携帯端末１はマーカを認識できなくなっていても同じ場所へのＡＲ画像の表示を続行し、そのまま一定時間が経過した場合にはＡＲ画像の表示を終了する。

これにより、ＡＲ表示システムＳでは、静止させていづらいリスト端末２をＡＲマーカの表示器としていても、その角度の変化に関わらず途切れることなくＡＲ画像の表示を行うことができる。

したがって、携帯端末１では、マーカが消失した場合であっても、マーカを表示するリスト端末２の傾斜によるものであれば、マーカに対応するＡＲ画像の表示を継続する。このため、リスト端末２を不意に傾けてしまった等の意図してない状態でマーカが消失してしまった場合でも、ＡＲ画像を表示し続けることができる。よって、ユーザは、意図しない状態でマーカが消失してしまっても、安定してＡＲ画像を確認することができる。

以上のように構成される携帯端末１は、出力部１９−１と、画像解析部５２と、表示制御部５３とを備える。
画像解析部５２は、識別情報画像から識別情報を取得する。
表示制御部５３は、識別情報に応じた仮想表示を出力部１９−１で行うよう制御する。
画像解析部５２は、識別情報が取得されなくなった場合に、識別情報画像の状態に基づいて、出力部１９−１における仮想表示を継続的に行うか否かを判定する。
表示制御部５３は、画像解析部５２によって、仮想表示を継続的に行うと判定された場合に、識別情報に基づいた仮想表示を継続的に行うように出力部１９−１を制御する。
これにより、ＡＲ表示システムＳにおいては、出力部１９−１の状態に基づいて、仮想表示を継続的に行うか否かを判定するために、ユーザの利便性を高めた画像表示処理を行うことができる。

画像解析部５２は、識別情報画像が表示される出力部１９−２を備えるリスト端末２から、識別情報を取得する。
これにより、ＡＲ表示システムＳにおいては、例えばユーザが装着するリスト端末２との連携において、仮想表示を行うことができる。

画像解析部５２は、仮想表示を継続的に行うか否かの判定を、出力部１９−２の姿勢変化に基づいて行う。
これにより、ＡＲ表示システムＳにおいては、リスト端末２（出力部１９−２）の姿勢変化に基づいて、表示継続の判定を行うために、簡単に継続の判断を行うことができる。

出力部１９−２の姿勢変化は、当該出力部１９−２を撮影した画像、又は、出力部１９−２の姿勢情報に基づいて検出する。
これにより、ＡＲ表示システムＳにおいては、出力部１９−２の姿勢変化を簡単に検出することができる。

リスト端末２は、センサ部１７−２と、通信部２０−２とを更に備える。
センサ部１７−２は、出力部１９−２の姿勢変化に関連する第一の情報であるセンサ情報を取得する。
通信部２０−２は、センサ部１７−２により取得される第一の情報であるセンサ情報を携帯端末１に送信する。
携帯端末１は、通信部２０−２により送信される情報を受信する通信部２０−１を更に備える。
画像解析部５２は、仮想表示を継続的に行うか否かの判定を、通信部２０−１によって受信される第一の情報であるセンサ情報に基づいて行う。
これにより、ＡＲ表示システムＳにおいては、携帯端末１とリスト端末２との通信機能を用いて、センサ部１７−２からのセンサ情報に基づいて、リスト端末２（出力部１９−２）の姿勢変化を検出することができる。

識別情報画像は、出力部１９−２の画面、又は、表面形状で表示される。
これにより、ＡＲ表示システムＳにおいては、リスト端末２に対応して仮想表示を行うことができ、リスト端末２の状態に応じて仮想表示を継続するかの判定を行うことができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、リスト端末２でセンサ情報を解析するように構成したが、センサ情報を携帯端末１に送信して、携帯端末１側でセンサ情報を解析するように構成してもよい。また、リスト端末２で取得したセンサ情報を外部装置で解析して、解析結果のみを携帯端末１で取得するように構成してもよい。

また、上述の実施形態では、リスト端末２側の姿勢変化に応じて、ＡＲ画像の表示継続を判断したが、携帯端末１側での姿勢変化によって、マーカが補足できなくなった場合にも、ＡＲ画像の表示継続を行うように構成してもよい。例えば、マーカを撮影する携帯端末１において、ユーザが携帯端末１の角度を変えてしまい、一時的にマーカが補足できなくなった場合等においては、ユーザにとっては意図しない状態でマーカが補足されない状態であるため、所定の時間経過したあとにマーカが補足できた場合や、マーカがどのように補足されなくなったか等を考慮して、ＡＲ画像の表示継続を判断するように構成してもよい。

また、上述の実施形態では、姿勢変化に基づいて、ＡＲ画像の表示の継続を行うように構成したが、連続的な姿勢変化を含む所定の動作に基づいて、ＡＲ画像の表示の継続を行うように構成してもよい。所定の動作とは、所定の目的を達成するような動作の他に、例えば、単純に腕を曲げて戻す等の動作を含む。

また、上述の実施形態では、マーカの表示面の向きに対応して、ＡＲ画像の向きを変えて表示するように構成してもよい。また、マーカが補足できなくなった後にも、リスト端末１の位置変化と、マーカの表示面の向きに対応して、ＡＲ画像の位置と向きを変えて表示するように構成してもよい。即ち、マーカの読取りが出来なくなった場合に、リストの加速度情報（左右移動・向きの変化等）に応じて仮想表示の位置や向きを変更するように構成してもよい。

また、上述の実施形態では、ＡＲ画像を、最後にマーカを撮影したタイミングで表示されていたＡＲ画像の位置に継続して表示するように構成したが、マーカを表示するリスト端末２の位置に対応してＡＲ画像を継続して表示させるように構成してもよい。

また、上述の実施形態では、マーカをリスト端末２の画面に表示される二次元コードの画像として構成したがこれに限られない。マーカは、リスト端末２の画面に表示される画像として電子的に表示されるように構成してもよいし、リスト端末２に貼り付けたり、リスト端末２の形状としたりしてもよい。

また、上述の実施形態では、マーカが表示される対象についても認識可能に構成するようにしてもよい。本実施形態においては、マーカが表示されるリスト端末２そのものを認識可能に構成してもよい。このように構成することで、マーカが検出できなくなった場合であっても、リスト端末２が認識されている間は、ＡＲ画像の表示を継続したり、ＡＲ画像を継続して表示させる位置をリスト端末２上にして追従させるように表示したりすることができる。

また、上述の実施形態では、一定時間のマーカが検出されないことで、意図的なマーカの消失でないと判定して、ＡＲ画像の表示の継続を停止するように構成することができるが、例えば、マーカの消失の仕方で、ＡＲ画像の表示の継続を行うか否かを判定するように構成してもよい。マーカの消失の仕方とは、撮影範囲内からどのように消失したかであり、例えば、消失した方向、消失前のリスト端末２の姿勢変化の有無、消失の速度等であり、具体的には、画面の傾き加減が変わってマーカが単に撮影範囲内で検出できなくなった場合、マーカが撮影範囲内を移動して撮影範囲外に移動して検出できなくなった場合が想定される。

また、上述の実施形態では、リスト端末２の姿勢変化からマーカが意図的に隠れたか否かを判定していたが、これに限られない。例えば、撮影した画像からマーカが隠れたか否かを判定するように構成してもよい。この場合、隠れたとされた画像の前後の画像を用いて、意図的か否かを判定するようにして、表示の継続を行うか否かを判定するようにしてもよい。

また、上述の実施形態では、リスト端末２の姿勢変化に起因してマーカが撮影できなくなった場合に、ＡＲ画像を継続的に表示するように構成したが、マーカを撮影する側（本実施形態においては、撮影機能を有する携帯端末１）の姿勢変化に起因してマーカが撮影できなくなった場合にＡＲ画像を継続的に表示するように構成してもよい。

また、上述の実施形態では、本発明が適用される携帯端末１及びリスト端末２は、デジタルカメラ及びスマートウォッチを例として説明したが、特にこれに限定されない。
例えば、本発明は、ＡＲ表示処理機能及び通知処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、デジタルカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が携帯端末１及びリスト端末２に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図３のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図３のＲＯＭ１２や、図３の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
識別情報画像から識別情報を取得する識別情報取得手段と、
前記識別情報に応じた仮想表示を表示部で行うよう制御する表示制御手段と、
前記識別情報取得手段によって前記識別情報が取得されなくなった場合に前記識別情報画像の状態に基づいて、前記表示部における仮想表示を継続するか否かを判定する判定手段と、を備え、
前記表示制御手段は、前記判定手段によって、仮想表示を継続的に行うと判定された場合に、前記識別情報に基づいた仮想表示を継続的に行うように前記表示部を制御する、
ことを特徴とする情報処理装置。
［付記２］
前記識別情報取得手段は、前記識別情報画像が表示される識別情報表示部を備える電子機器から、識別情報を取得する、
ことを特徴とする付記１に記載の情報処理装置。
［付記３］
前記判定手段は、仮想表示を継続的に行うか否かの判定を、前記識別情報表示部の姿勢変化に基づいて行う、
ことを特徴とする付記２に記載の情報処理装置。
［付記４］
前記識別情報表示部の姿勢変化は、当該前記識別情報表示部を撮影した画像、又は、前記識別情報表示部の姿勢情報に基づいて検出される、
ことを特徴とする付記３に記載の情報処理装置。
［付記５］
前記電子機器は、前記識別情報表示部の姿勢変化に関連する第一の情報を取得するセンサ部と、
前記センサ部により取得される前記第一の情報を前記情報処理装置に送信する送信部、を更に備え、
前記情報処理装置は、前記送信部により送信される情報を受信する受信部を更に備え、
前記判定手段は、仮想表示を継続的に行うか否かの判定を、前記受信部によって受信される前記第一の情報に基づいて行う、
ことを特徴とする付記２乃至４の何れか１つに記載の情報処理装置。
［付記６］
前記識別情報画像は、前記識別情報表示部の画面、又は、表面形状で表示される、
ことを特徴とする付記２乃至５の何れか１つに記載の情報処理装置。
［付記７］
識別情報が表示される識別情報表示部を備える電子機器と、
識別情報に基づいて仮想表示を行う仮想表示部を備える情報処理装置と、からなる情報処理システムであって、
前記情報処理装置は、
前記識別情報表示部に表示される前記識別情報を取得する識別情報取得手段と、
前記識別情報取得手段によって前記識別情報が取得されなくなった場合に、識別情報表示部の状態に基づいて、仮想表示を継続的に行うか否かを判定する判定手段と、
前記判定手段によって、仮想表示を継続的に行うと判定された場合に、前記識別情報に基づいた仮想表示を継続的に行うように前記仮想表示部を制御する表示制御手段と、
を備えることを特徴とする情報処理システム。
［付記８］
識別情報に基づいて仮想表示を行う外部装置に対して、当該識別情報を表示する電子機器であって、
識別情報を表示する識別情報表示部と、
前記識別情報表示部の姿勢変化を検出する検出部と、
前記識別情報表示部が前記識別情報を表示している間、前記検出部により検出された前記識別情報表示部の姿勢変化の情報を、仮想表示を継続するための判断基準となる情報として前記外部装置に出力する出力手段と、
を備えることを特徴とする電子機器。
［付記９］
情報処理装置で実行される情報処理方法であって、
識別情報画像から識別情報を取得する識別情報取得ステップと、
前記識別情報に応じた仮想表示を表示部で行うよう制御する表示制御ステップと、
前記識別情報取得ステップによって前記識別情報が取得されなくなった場合に前記識別情報画像の状態に基づいて、前記表示部における仮想表示を継続するか否かを判定する判定ステップと、を備え、
前記表示制御ステップは、前記判定ステップによって、仮想表示を継続的に行うと判定された場合に、前記識別情報に基づいた仮想表示を継続的に行うように前記表示部を制御する、
ことを特徴とする情報処理方法。
［付記１０］
情報処理装置を制御するコンピュータを、
識別情報画像から識別情報を取得する識別情報取得手段、
前記識別情報に応じた仮想表示を表示部で行うよう制御する表示制御手段、
前記識別情報取得手段によって前記識別情報が取得されなくなった場合に前記識別情報画像の状態に基づいて、前記表示部における仮想表示を継続するか否かを判定する判定手段、として機能させ、
前記表示制御手段は、前記判定手段によって、仮想表示を継続的に行うと判定された場合に、前記識別情報に基づいた仮想表示を継続的に行うように前記表示部を制御する、
ことを特徴とするプログラム。

１・・・携帯端末，２・・・リスト端末，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・センサ部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮影制御部，５２・・・画像解析部，５３・・・表示制御部，５４・・・通信制御部，７１・・・ＡＲ画像記憶部，９１・・・表示制御部，９１・・・センサ情報解析部，９３・・・通信制御部，Ｓ・・・ＡＲ表示システム

Claims (5)

1. 識別情報画像が表示される識別情報表示部を備える電子機器から識別情報を取得する識別情報取得手段と、
   前記識別情報に応じた仮想表示を表示部で行うよう制御する表示制御手段と、
   前記識別情報取得手段によって前記識別情報が取得されなくなった場合に、前記表示部における仮想表示を継続するか否かを判定する判定手段と、を備え、
   前記判定手段は、前記電子機器が備える前記識別情報表示部が傾斜したことを示す傾斜発生通知を前記電子機器から取得した場合に前記仮想表示を継続的に行うと判定し、
   前記表示制御手段は、前記判定手段によって、仮想表示を継続的に行うと判定された場合に、前記識別情報に基づいた仮想表示を継続的に行うように前記表示部を制御する、
   ことを特徴とする情報処理装置。
2. 前記電子機器は、前記識別情報表示部が傾斜したか否かを判定するセンサ部と、
   前記センサ部により前記識別情報表示部が傾斜したと判定された場合に前記傾斜発生通知を前記情報処理装置に送信する送信部を更に備えることを特徴とする請求項１に記載の情報処理装置。
3. 識別情報が表示される識別情報表示部を備える電子機器と、
   識別情報に基づいて仮想表示を行う仮想表示部を備える情報処理装置と、からなる情報処理システムであって、
   前記情報処理装置は、
   前記識別情報表示部に表示される前記識別情報を取得する識別情報取得手段と、
   前記識別情報取得手段によって前記識別情報が取得されなくなった場合に、仮想表示を継続的に行うか否かを判定する判定手段と、
   前記判定手段によって、仮想表示を継続的に行うと判定された場合に、前記識別情報に基づいた仮想表示を継続的に行うように前記仮想表示部を制御する表示制御手段と、
   を備え、
   前記判定手段は、前記電子機器が備える前記識別情報表示部が傾斜したことを示す傾斜発生通知を前記電子機器から取得した場合に前記仮想表示を継続的に行うと判定することを特徴とする情報処理システム。
4. 情報処理装置で実行される情報処理方法であって、
   識別情報画像が表示される識別情報表示部を備える電子機器から識別情報を取得する識別情報取得ステップと、
   前記識別情報に応じた仮想表示を表示部で行うよう制御する表示制御ステップと、
   前記識別情報取得ステップによって前記識別情報が取得されなくなった場合に、前記表示部における仮想表示を継続するか否かを判定する判定ステップと、を備え、
   前記判定ステップは、前記電子機器が備える前記識別情報表示部が傾斜したことを示す傾斜発生通知を前記電子機器から取得した場合に前記仮想表示を継続的に行うと判定し、
   前記表示制御ステップは、前記判定ステップによって、仮想表示を継続的に行うと判定された場合に、前記識別情報に基づいた仮想表示を継続的に行うように前記表示部を制御する、
   ことを特徴とする情報処理方法。
5. 情報処理装置を制御するコンピュータを、
   識別情報画像が表示される識別情報表示部を備える電子機器から識別情報を取得する識別情報取得手段、
   前記識別情報に応じた仮想表示を表示部で行うよう制御する表示制御手段、
   前記識別情報取得手段によって前記識別情報が取得されなくなった場合に、前記表示部における仮想表示を継続するか否かを判定する判定手段、として機能させ、
   前記判定手段は、前記電子機器が備える前記識別情報表示部が傾斜したことを示す傾斜発生通知を前記電子機器から取得した場合に前記仮想表示を継続的に行うと判定し、
   前記表示制御手段は、前記判定手段によって、仮想表示を継続的に行うと判定された場合に、前記識別情報に基づいた仮想表示を継続的に行うように前記表示部を制御する、
   ことを特徴とするプログラム。

Images