JP2019159668A - 表示プログラム、格納プログラム、表示システム、及び格納システム - Google Patents

Abstract

【課題】あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる表示プログラム、格納プログラム、表示システム、及び格納システムを提供すること。【解決手段】三次元空間上に表示対象を重畳して表示する端末装置１であって、表示対象を表示する表示位置であって、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を取得する表示対象取得手段と、表示対象取得手段が取得した表示位置特定情報に基づいて、表示対象を三次元空間上の表示位置に重畳して表示する表示手段と、を備え、前記三次元空間中の実対象を認識するための認識情報を取得する実対象取得手段、を備え、表示手段は、実対象取得手段が取得した認識情報と、表示対象取得手段が取得した表示位置特定情報とに基づいて、表示対象を三次元空間上の表示位置に重畳して表示する。【選択図】図１

Description

本発明は、表示プログラム、格納プログラム、表示システム、及び格納システムに関する。

従来、設備の点検の支援を行う点検システムが知られていた（例えば、特許文献１）。この点検システムにおいては、点検対象の設備を二次元画像として撮影し、撮影した二次元画像における点検対象の設備に当該設備の名称等を重ねて表示等してヒューマンエラーを防止することにより、支援していた。

特開２０１４−７８１２２号公報

しかしながら、特許文献１の技術においては、単に二次元画像に文字情報等を表示しているのみであったので、実際の作業対象の現場の遠近を把握できないこと等により、例えば、ユーザの作業経験が比較的浅い場合等には、当該技術を用いても作業に手間取る可能性があった。

そこで、本願発明者は、端末装置（例えば、ウエアラブル端末装置等）を用いて、三次元空間上に仮想的に情報を表示して作業の支援を行う技術に想到した。

ところが、一般的には、三次元空間上に仮想的に情報を表示する場合、三次元空間認識を行う必要があるが、当該認識を行うために、いわゆるＡＲマーカ等の物理的なマーカを三次元空間上に実際に配置する必要があり、当該ＡＲマーカの配置スペースを確保する必要があり、当該スペースを確保できない場合等には、三次元空間上に仮想的に情報を表示する技術を適用できずに、作業の支援を行えなくなる可能性があった。

本発明は、上記に鑑みてなされたものであって、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる表示プログラム、格納プログラム、表示システム、及び格納システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１に記載の表示プログラムは、三次元空間上に表示対象を重畳して表示する表示プログラムであって、コンピュータに、前記表示対象を表示する表示位置であって、前記三次元空間におけるユーザが設定した基準点を基準にした前記表示位置を特定する表示位置特定情報を取得する表示対象取得手段と、前記表示対象取得手段が取得した前記表示位置特定情報に基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する表示手段と、前記三次元空間中の実対象を認識するための認識情報を取得する実対象取得手段と、として機能させ、前記表示手段は、前記実対象取得手段が取得した前記認識情報と、前記表示対象取得手段が取得した前記表示位置特定情報とに基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する。

請求項２に記載の表示プログラムは、請求項１に記載の表示プログラムにおいて、前記表示手段は、ユーザが前記三次元空間において前記実対象に対して順次行うべき実施事項であって、当該実対象に関連付けられている前記実施事項と関連付けて前記表示対象を表示する。

請求項３に記載の表示プログラムは、請求項２に記載の表示プログラムにおいて、前記コンピュータを、前記実対象取得手段が取得した前記認識情報にて認識される前記実対象の範囲と、前記実施事項に対応する前記実対象の範囲とに基づいて、前記認識情報に関する案内を行う案内手段、として機能させる。

請求項４に記載の表示プログラムは、請求項２又は３に記載の表示プログラムにおいて、前記コンピュータを、前記実施事項を実施する支援を行う支援手段、として機能させる。

請求項５に記載の表示プログラムは、請求項２から４の何れか一項に記載の表示プログラムにおいて、前記コンピュータを、前記実施事項を実施した結果を受け付ける受付手段、として機能させる。

請求項６に記載の格納プログラムは、三次元空間上の表示位置に重畳して表示される表示対象の前記表示位置を特定する表示位置特定情報を格納する格納プログラムであって、コンピュータを、前記三次元空間上のユーザが設定した基準点を基準にした前記表示対象の位置を特定する特定手段と、前記特定手段が特定した前記表示対象の位置を特定する情報を前記表示位置特定情報として格納する記録手段と、として機能させる。

請求項７に記載の表示システムは、三次元空間上に表示対象を重畳して表示する表示システムであって、前記表示対象を表示する表示位置であって、前記三次元空間におけるユーザが設定した基準点を基準にした前記表示位置を特定する表示位置特定情報を取得する表示対象取得手段と、前記表示対象取得手段が取得した前記表示位置特定情報に基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する表示手段と、前記三次元空間中の実対象を認識するための認識情報を取得する実対象取得手段、を備え、前記表示手段は、前記実対象取得手段が取得した前記認識情報と、前記表示対象取得手段が取得した前記表示位置特定情報とに基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する。

請求項８に記載の格納システムは、三次元空間上の表示位置に重畳して表示される表示対象の前記表示位置を特定する表示位置特定情報を格納する格納システムであって、前記三次元空間上のユーザが設定した基準点を基準にした前記表示対象の位置を特定する特定手段と、前記特定手段が特定した前記表示対象の位置を特定する情報を前記表示位置特定情報として格納する記録手段と、を備える。

請求項１に記載の表示プログラムによれば、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を取得することにより、例えば、物理的なマーカ（例えば、いわゆるＡＲマーカ等）を用いることなく、三次元空間における表示対象の位置を特定することができるので、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる。また、例えば、表示位置を、三次元空間における座標群ではなく基準点に対する相対位置として特定することができるので、当該表示位置を特定するための情報量を減少させることが可能となる。また、実対象取得手段が取得した認識情報と、表示対象取得手段が取得した表示位置特定情報とに基づいて、表示対象を三次元空間に表示することにより、例えば、三次元空間上における表示対象の位置を確実に特定することができるので、表示対象を表示する位置の位置精度を向上させることが可能となる。

請求項２に記載の表示プログラムによれば、実対象に対して順次行うべき実施事項と関連付けて表示対象を表示することにより、例えば、表示対象を用いて実施事項を実施するための案内を行うことができるので、実施事項を確実に行わせることが可能となる。特に、例えば、メンテナンス作業等の現場に適用した場合、ユーザの作業経験の多少に関わらず、あらゆるユーザに対してメンテナンス作業を確実に行わせることが可能となる。

請求項３に記載の表示プログラムによれば、認識情報にて認識される実対象の範囲と、実施事項に対応する実対象の範囲とに基づいて、認識情報に関する案内を行うことにより、例えば、三次元空間上に表示対象を表示するために認識情報が不足している場合等に適切な処置（例えば、更なる認識情報の取得の処置等）を行わせることができるので、表示対象が表示される三次元空間の範囲を拡張することが可能となる。

請求項４に記載の表示プログラムによれば、実施事項を実施する支援を行うことにより、例えば、実施事項をより確実に実施させることが可能となる。

請求項５に記載の表示プログラムによれば、実施事項を実施した結果を受け付けることにより、例えば、実施事項の結果を格納することができるので、実施事項の結果を後に確認することが可能となる。

請求項６に記載の格納プログラムによれば、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を格納することにより、例えば、物理的なマーカ（例えば、いわゆるＡＲマーカ等）を用いることなく、三次元空間における表示対象の位置を特定することができるので、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる。また、例えば、表示位置を、三次元空間における座標群ではなく基準点に対する相対位置として特定することができるので、当該表示位置を特定するための情報量を減少させることが可能となる。

請求項７に記載の表示システムによれば、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を取得することにより、例えば、物理的なマーカ（例えば、いわゆるＡＲマーカ等）を用いることなく、三次元空間における表示対象の位置を特定することができるので、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる。また、例えば、表示位置を、三次元空間における座標群ではなく基準点に対する相対位置として特定することができるので、当該表示位置を特定するための情報量を減少させることが可能となる。また、実対象取得手段が取得した認識情報と、表示対象取得手段が取得した表示位置特定情報とに基づいて、表示対象を三次元空間に表示することにより、例えば、三次元空間上における表示対象の位置を確実に特定することができるので、表示対象を表示する位置の位置精度を向上させることが可能となる。

請求項８に記載の格納システムによれば、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を格納することにより、例えば、物理的なマーカ（例えば、いわゆるＡＲマーカ等）を用いることなく、三次元空間における表示対象の位置を特定することができるので、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる。また、例えば、表示位置を、三次元空間における座標群ではなく基準点に対する相対位置として特定することができるので、当該表示位置を特定するための情報量を減少させることが可能となる。

本発明の実施の形態に係る支援システムを例示するブロック図である。 空間情報を例示した図である。 メンテナンス作業の対象となっているサーバルームの平面図である。 シナリオ情報を例示した図である。 タスク情報を例示した図である。 レンズ部を介してユーザから見える三次元空間を例示した図である。 支援情報を例示した図である。 登録処理のフローチャートである。 作業処理のフローチャートである。 作業処理中にレンズ部を介してユーザから見える三次元空間を例示した図である。 結果登録処理のフローチャートである。

以下、本発明に係る表示プログラム、格納プログラム、表示システム、及び格納システムの実施の形態について図面を参照しつつ詳細に説明する。ただし、実施の形態によって本発明が限定されるものではない。

本発明に係る表示システムは、三次元空間上に表示対象を重畳して表示するシステムであり、例えば、表示対象を重畳して表示する専用システム、あるいは、汎用的に用いられるコンピュータ（一例としては、サーバ装置、パーソナルコンピュータ、ウエアラブル端末装置等）に対して表示対象を重畳して表示する機能を実装することにより実現されるシステム等を含む概念である。また、表示システムは、例えば、表示対象取得手段、表示手段を備え、任意で、実対象取得手段、案内手段、支援手段、受付手段を備える。

ここで、「表示対象」とは、三次元空間上に重畳して表示される対象であり、具体的には、三次元空間上に仮想的に表示されるものであり、例えば、三次元空間上に存在するように視認されるものであり、一例としては、いわゆる拡張現実の技術を用いて表示されるもの等を含む概念である。「表示対象」とは、例えば、順次行うべき実施事項に関連付けられている情報であり、一例としては、任意の作業（例えば、メンテナンス作業、あるいは、調理作業等）の支援を行うための情報（例えば、位置や方向を指し示すオブジェクトや手順等の情報を表示するための表示領域であるパネル等）を含む概念である。なお、「順次行うべき実施事項」とは、予め定められた手順であるシナリオに沿って順次行うべき実施事項であり、例えば、任意の作業での実施するべき事項等を含む概念である。

また、「表示対象取得手段」とは、表示対象を表示する表示位置であって、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を取得する手段である。なお、「基準点」とは、ユーザに設定される点であり、具体的には、表示対象の表示位置の基準となる点であり、例えば、三次元空間上の座標等を含む概念である。また、「表示位置特定情報」とは、表示対象を表示する位置である表示位置を特定する情報であり、具体的には、基準点を基準にした情報であり、例えば、基準点の座標に対する相対座標等を含む概念である。

また、「表示手段」とは、表示対象取得手段が取得した表示位置特定情報に基づいて、表示対象を三次元空間上の表示位置に重畳して表示する手段であり、「実対象取得手段」とは、三次元空間中の実対象を認識するための認識情報を取得する手段である。なお、「実対象」とは、三次元空間中に実際に存在する物又は生物であり、例えば、データセンター内やサーバ室内に存在するサーバラック、消火栓設備、あるいは、電源設備等を含む概念である。「認識情報」とは、三次元空間をコンピュータにて認識するための情報であり、例えば、三次元空間における特徴点の集合である点群の情報等を含む概念である。

「案内手段」とは、実対象取得手段が取得した認識情報にて認識される実対象の範囲と、実施事項に対応する実対象の範囲とに基づいて、認識情報に関する案内を行う手段であり、例えば、実対象の範囲に対して認識情報が不足している場合に、不足を補うことを案内する手段等を含む概念である。また、「支援手段」とは、実施事項を実施する支援を行う手段であり、例えば、支援を行うための情報を表示する手段等を含む概念である。また、「受付手段」とは、実施事項を実施した結果を受け付ける手段であり、具体的には、任意の形式で結果を受け付ける手段であり、例えば、画像、動画、テキスト、選択結果（例えば、チェックボックス等の選択結果）、又は音声等にて結果を受け付ける手段等を含む概念である。

また、「格納システム」とは、三次元空間上の表示位置に重畳して表示される表示対象の表示位置を特定する表示位置特定情報を格納するシステムであり、具体的には、前述の表示システムと一体的に構成されたり、あるいは、別体として構成されたりするシステムであり、例えば、表示システムと同様にして実現されるシステム等を含む概念であり、一例としては、特定手段、及び記録手段を備える。

「特定手段」とは、三次元空間上のユーザが設定した基準点を基準にした表示対象の位置を特定する手段であり、「記録手段」とは、特定手段が特定した表示対象の位置を特定する情報を表示位置特定情報として格納する手段である。

そして、以下に示す実施の形態では、「表示システム」及び「格納システム」がウエアラブル端末装置として実現されており、また、これらの「表示システム」及び「格納システム」の各手段（任意の手段も含む）が、ウエアラブル端末装置の制御手段として実現されている場合について、メンテナンス作業の現場に適用する場合について説明する。
（構成）
まず、本実施の形態に係る支援システム１００について説明する。図１は、本発明の実施の形態に係る支援システムを例示するブロック図である。支援システム１００は、例えば、端末装置１、及びサーバ装置２を備える。なお、実際には、支援システム１００には、端末装置１と同様な構成の端末装置が複数設けられているが、ここでは、説明の便宜上、特記する場合を除いて１つの端末装置１に着目して説明する（後述の処理についても同様とする）。

（構成−端末装置）
端末装置１は、表示システム及び格納システムであり、例えば、三次元空間上に仮想的に情報を表示する装置であり、一例としては、ユーザが顔に装着して用いるゴーグル型のウエアラブル端末装置である。この端末装置１は、公知の構成を含む任意の構成を備えて構成することができるが、例えば、通信部１１、センサ部１２、レンズ部１３、データ記録部１４、及び制御部１５を備える。

（構成−端末装置−通信部）
通信部１１は、ネットワーク（図示省略）を介して外部装置との間で通信するための通信手段である。この通信部１１の具体的な種類や構成は任意であるが、例えば、公知の無線通信手段を用いることができる。

（構成−端末装置−センサ部）
センサ部１２は、情報を検出又は取得する検出手段である。このセンサ部１２の具体的な種類や構成は任意であるが、例えば、方向又は傾き等を検出する慣性センサ、周辺環境を三次元として認識するための情報を検出するデプスセンサ、色を認識するためのＲＧＢカメラ、周辺環境を二次元として認識する環境認識カメラ、静止画又は動画を撮影するカメラ、及び音声情報を取得するマイク等を用いることができる。そして、このようにセンサ部１２を構成することにより、端末装置１にて方向又は傾き等を検出したり、あるいは、三次元空間認識を行ったり、あるいは、ユーザが空間にてジェスチャーを行って情報を入力したり、音声にて情報を入力したり、あるいは、静止画又は動画を撮影したりすることが可能となる。

（構成−端末装置−レンズ部）
レンズ部１３は、端末装置１を装着したユーザが当該レンズ部１３を介して実環境を視認する視認手段である。このレンズ部１３の具体的な種類や構成は任意であるが、例えば、ユーザが実環境を視認できるように透明となっており、また、少なくとも表示対象を表示できるように画像表示機能も備えているものを用いることができる。そして、このようなレンズ部１３に表示対象を表示することにより、当該レンズ部１３を介して実環境を視認したユーザは、三次元空間上に表示対象が表示しているように視認することが可能となる。

（構成−端末装置−データ記録部）
データ記録部１４は、端末装置１の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのフラッシュメモリ（図示省略）を用いて構成されている。ただし、フラッシュメモリに代えてあるいはフラッシュメモリと共に、ハードディスク、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。

（構成−端末装置−制御部）
制御部１５は、端末装置１を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、実施の形態に係るプログラムは、任意の記録媒体又はネットワークを介して端末装置１にインストールされることで、制御部１５の各部を実質的に構成する。

また、制御部１５は、例えば、表示対象を表示する表示位置であって、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を取得する表示対象取得手段であり、また、表示対象取得手段が取得した表示位置特定情報に基づいて、表示対象を三次元空間上の表示位置に重畳して表示する表示手段であり、また、三次元空間中の実対象を認識するための認識情報を取得する実対象取得手段であり、また、実施事項を実施する支援を行う支援手段であり、また、実施事項を実施した結果を受け付ける手段であり、具体的には、任意の形式で結果を受け付ける受付手段であり、また、三次元空間上のユーザが設定した基準点を基準にした表示対象の位置を特定する特定手段であり、また、特定手段が特定した表示対象の位置を特定する情報を表示位置特定情報として格納する記録手段である。なお、この制御部１５の各部（各手段）により行われる処理については、後述する。

（構成−サーバ装置）
サーバ装置２は、例えば、通信部２１、データ記録部２２、及び制御部２３を備える。

（構成−サーバ装置−通信部）
通信部２１は、ネットワーク（図示省略）を介して外部装置（例えば、端末装置１等）との間で通信するための通信手段である。この通信部２１の具体的な種類や構成は任意であるが、例えば、端末装置１の通信部１１と同様にして構成することができる。

（構成−サーバ装置−データ記録部）
データ記録部２２は、サーバ装置２の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、端末装置１のデータ記録部１４と同様にして構成することができる。

また、このデータ記録部２２は、空間情報ＤＢ２２１、作業情報ＤＢ２２２、支援情報ＤＢ２２３、及び結果情報ＤＢ２２４を備える。

（構成−サーバ装置−データ記録部−空間情報ＤＢ）
空間情報ＤＢ２２１は、空間情報を格納する空間情報格納手段である。「空間情報」とは、三次元空間中の実対象を認識するための認識情報を含む情報である。図２は、空間情報を例示した図である。図３は、メンテナンス作業の対象となっているサーバルームの平面図である。図２に示すように、空間情報は、例えば、項目「シナリオＩＤ」、及び項目「三次元空間情報」と、各項目に対応する情報とを対応付けて格納している。項目「シナリオＩＤ」に対応する情報は、シナリオを一意に識別するためのシナリオ識別情報（以下、識別情報を「ＩＤ」と称する）である（図２では、「ＩＤｓ１」等）。項目「三次元空間情報」に対応する情報は、前述の認識情報であり、三次元空間における特徴点の集合である点群を特定する三次元空間情報である。なお、この三次元空間情報の点群の具体的な内容は任意であるが、例えば、ｘ軸、ｙ軸、ｚ軸からなる直交座標系を用いることとし、また、前述の基準点を原点として当該原点である基準点に対する相対座標として格納される場合について説明する。図２では、図３の消火栓設備を含む第１空間領域Ｒ１を三次元空間認識する場合に用いられる点群の情報である「Ｄａ１」、及び図３の電源設備を含む第２空間領域Ｒ２を三次元空間認識する場合に用いられる点群の情報である「Ｄａ２」等である。なお、実際には、点群の情報としては、例えば、ｘ軸、ｙ軸、及びｚ軸で特定される三次元座標の集合となるが、ここでは、説明の便宜上、「Ｄａ１」、「Ｄａ２」と称して説明する。そして、このような空間情報の具体的な格納手法は任意であるが、例えば、後述する登録処理にて格納される。

（構成−サーバ装置−データ記録部−作業情報ＤＢ）
作業情報ＤＢ２２２は、シナリオ情報及びタスク情報を格納する作業情報格納手段である。

（構成−サーバ装置−データ記録部−作業情報ＤＢ−シナリオ情報）
「シナリオ情報」とは、メンテナンス作業について順次行うべき実施事項を特定する情報である。図４は、シナリオ情報を例示した図である。この図４に示すように、シナリオ情報は、例えば、項目「シナリオＩＤ」、項目「シナリオ内容情報」、項目「タスクＩＤ」、及び項目「タスク内容情報」と、各項目に対応する情報とを対応付けて格納している。なお、項目「シナリオＩＤ」に対応する情報は、図２の同一名称の情報と同様である。項目「シナリオ内容情報」に対応する情報は、シナリオの内容を特定するシナリオ内容情報である（図４では、「消火栓点検作業」等）。項目「タスクＩＤ」に対応する情報は、シナリオにおける実施事項であるタスクを一意に識別するためのタスクＩＤである（図４では、「ＩＤｔ１１」等）。項目「タスク内容情報」に対応する情報は、タスクの内容を特定するタスク内容情報である（図４では、「点検ランプの確認」等）。そして、このようなシナリオ情報を格納する具体的な手法は任意であるが、例えば、メンテナンス管理者が、不図示の入力手段（例えば、キーボード又はマウス等）又は通信部２１を介して入力することにより、格納される（後述する支援情報も同様とする）。

（構成−サーバ装置−データ記録部−作業情報ＤＢ−タスク情報）
「タスク情報」とは、タスクに関連する情報を格納するタスク情報である。図５は、タスク情報を例示した図である。図６は、レンズ部を介してユーザから見える三次元空間を例示した図である。この図６においては、レンズ部１３を介して見える、図５の実際の消火栓設備、基準点オブジェクトＧ１、ナビゲーションオブジェクトＧ２、及びパネルオブジェクトＧ３が図示されている。なお、「基準点オブジェクト」Ｇ１とは、前述の基準点を示す三次元オブジェクトであり、例えば、赤色の円形（又は、球形）を特定する情報である。また、「ナビゲーションオブジェクト」Ｇ２とは、表示対象であり、例えば、位置や方向等を示す三次元オブジェクトである。なお、「ナビゲーションオブジェクト」Ｇ２としては、図示されている矢印形状以外にも、任意の形状のものを用いることができるが、ここでは、図示されているものを例示して説明する。また、「パネルオブジェクト」Ｇ３とは、表示対象であり、例えば、手順等の文字、画像、又は動画情報等を表示するための表示領域に対応する三次元オブジェクトである。

図５に示すように、タスク情報は、項目「タスクＩＤ」、項目「オブジェクト情報」、及び項目「パネル情報」と、各項目に対応する情報とを対応付けて格納している。なお、項目「タスクＩＤ」に対応する情報は、図４の同一名称の情報と同様である。項目「オブジェクト情報」に対応する情報は、ナビゲーションオブジェクトを特定するオブジェクト情報である。なお、このオブジェクト情報としては、任意の情報が格納されるが、例えば、ナビゲーションオブジェクトの三次元空間における位置を特定する表示位置特定情報（つまり、基準点に対する相対座標）、種類を特定する種類情報、サイズを特定するサイズ情報、方向を特定する方向情報が格納されていることとして説明する。図５では、図６のナビゲーションオブジェクトＧ２に対応するオブジェクト情報である「Ｄｏ１」等が格納されている。なお、実際には、表示位置特定情報としては、基準点を原点にした座標である「（ｘ１１、ｙ１１、ｚ１１）」等が格納され、種類情報としては、「矢印」等が格納され、サイズ情報としては、「高さ：５０ｃｍ、幅：３０ｃｍ」等が格納され、方向情報としては、ｘ軸、ｙ軸、ｚ軸からなる直交座標における各軸を基準にした角度であり、「１０度、１００度、３０度」等が格納されるが、ここでは、例えば、説明の便宜上、「Ｄｏ１」等と称して説明する。項目「パネル情報」に対応する情報は、パネルオブジェクトを特定するパネル情報である。なお、このパネル情報としては、任意の情報が格納されるが、例えば、パネルの三次元空間における位置を特定する表示位置特定情報（つまり、基準点に対する相対座標）、サイズを特定するサイズ情報、及び方向を特定する方向情報が格納されていることとして説明する。図５では、図６のパネルオブジェクトＧ３に対応するパネル情報である「Ｄｐ１」等が格納されている。なお、実際には、表示位置特定情報としては、基準点を原点にした座標である「（ｘ２２、ｙ２２、ｚ２）」等が格納され、サイズ情報としては、「高さ：４０ｃｍ、幅：６０ｃｍ」等が格納され、方向情報としては、ｘ軸、ｙ軸、ｚ軸からなる直交座標における各軸を基準にした角度であり、「０度、０度、１０度」等が格納されるが、ここでは、例えば、説明の便宜上、「Ｄｐ１」等と称して説明する。そして、このようなタスク情報の具体的な格納手法は任意であるが、例えば、後述する登録処理にて格納される。

（構成−サーバ装置−データ記録部−支援情報ＤＢ）
図１に戻って、支援情報ＤＢ２２３は、支援情報を格納する作業情報格納手段である。「支援情報」とは、支援を行うための情報である。図７は、支援情報を例示した図である。この図７に示すように、支援情報は、項目「タスクＩＤ」、及び項目「作業支援情報」と、各項目に対応する情報とを対応付けて格納している。なお、項目「タスクＩＤ」に対応する情報は、図４の同一名称の情報と同様である。項目「作業支援情報」に対応する情報は、メンテナンスの作業の支援を行うための作業支援情報である。なお、作業支援情報としては、任意の情報が格納されるが、例えば、作業にて実施するべきことを案内する案内情報、取扱説明を特定する説明情報等が、音声形式、テキスト形式、静止画形式、又は動画形式等で格納されていることとして説明する。図７では、「Ｄｈ１」等が格納されている。なお、実際には、案内情報としては、「一番上の扉は開閉できますか」等の音声形式又はテキスト形式の情報が格納され、また、説明情報としては、図６の消火栓設備の扉を開くための取扱説明の静止画形式又は動画形式等が格納されるが、ここでは、例えば、説明の便宜上、「Ｄｈ１」等と称して説明する。

（構成−サーバ装置−データ記録部−結果情報ＤＢ）
図１に戻って、結果情報ＤＢ２２４は、結果情報を格納する結果情報格納手段である。「結果情報」とは、メンテナンス作業を行った結果を特定する情報であり、例えば、シナリオＩＤ、タスクＩＤ、及び作業結果を特定する作業結果情報が相互に対応付けられている情報である。そして、このような結果情報の具体的な格納手法は任意であるが、例えば、後述する作業処理にて格納される。

（構成−サーバ装置−制御部）
制御部２３は、サーバ装置２を制御する制御手段であり、例えば、端末装置１の制御部１５と同様にして構成することができる。なお、この制御部２３の各部により行われる処理については、後述する。

（処理）
次に、このように構成される支援システム１００によって実行される登録処理、作業処理について説明する。

（処理−登録処理）
まず、登録処理について説明する。図８は、登録処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。登録処理は、概略的には、支援システム１００の端末装置１にて行われる処理であり、具体的には、空間情報、及びタスク情報を登録して格納する処理である。この登録処理を実行するタイミングは任意であるが、例えば、端末装置１を装着したユーザが各シナリオに関連する三次元空間領域に移動した後に、端末装置１の電源をオンし、空間でのジェスチャー又は音声コマンドの発話等により、端末装置１に対して所定入力を行い、当該所定入力を、センサ部１２を介して端末装置１が受け付けた場合に、起動されて実行を開始することとして、実行を開始したところから説明する。なお、以下では、空間でのジェスチャー又は音声コマンドの発話等により端末装置１に対して情報を入力することを、単に、「端末装置１への所定操作」とも称して説明する。また、以下の処理では、端末装置１の制御部１５が、サーバ装置２のデータ記録部２２の各情報にアクセス（例えば、取得や格納等）することになるが、ここでのアクセス手法は、端末装置１の通信部１１とサーバ装置２の通信部２１を用いて任意の通信（公知の通信手法の通信を含む）を行うことにより実現されるので、特記する場合を除いて、当該通信について説明を省略する（以下の各処理も同様とする）。

なお、ここでは、例えば、端末装置１にて１度に三次元空間認識を行える範囲が、一定範囲に限られていることとし、この一定範囲単位で登録を行うこととして、説明する。また、この一定範囲が、図３の第１空間領域Ｒ１又は第２空間領域Ｒ２であることとし、これらの領域の空間情報、及び消火栓設備についてのタスク情報、及び電源設備についてタスク情報を順次登録することとし、特に、第１空間領域Ｒ１の空間情報、及び消火栓設備のタスク情報を登録する場合を適宜例示して説明する。

図８のＳＡ１において制御部１５は、シナリオＩＤを取得する。具体的には任意であるが、例えば、ユーザが、予め定められた作業計画等に従って、シナリオに対応する三次元空間中で当該空間に対応するシナリオのシナリオＩＤを、端末装置１への所定操作により入力した場合、制御部１５は、当該シナリオＩＤを取得する。ここでは、例えば、ユーザが、図３の第１空間領域Ｒ１中でシナリオＩＤとして「ＩＤｓ１」を入力した場合、制御部１５は、「ＩＤｓ１」を取得する。

図８のＳＡ２において制御部１５は、空間情報を取得する。具体的には任意であるが、例えば、センサ部１２を介して公知の手法で、端末装置１の周辺の三次元空間における特徴点の集合である点群を三次元空間情報として取得する。ここでは、例えば、図３の第１空間領域Ｒ１の点群を三次元空間情報として取得する。

図８のＳＡ３において制御部１５は、基準点を取得する。具体的には任意であるが、例えば、レンズ部１３に基準点オブジェクトを表示して、表示した基準点オブジェクトに対する操作を、端末装置１への所定操作により受け付けた場合に、当該基準点オブジェクトに対応する三次元空間上の基準点の座標を取得する。ここでは、例えば、まず、図３の消火栓設備の周辺で、制御部１５が、レンズ部１３に、図６の基準点オブジェクトＧ１を表示する。次に、ユーザが、三次元空間での基準点の位置を決定して、端末装置１への所定操作により、当該決定した位置に基準点オブジェクトＧ１を移動させた後に、「保存」等の入力を行う。次に、制御部１５は、当該基準点オブジェクトＧ１に対応する三次元空間上の基準点の座標を取得する。

図８のＳＡ４において制御部１５は、空間情報を格納する。具体的には任意であるが、例えば、ＳＡ３で取得した基準点の座標を、ＳＡ２で取得した三次元空間情報において特定した上で、当該基準点の座標を原点（つまり、基準）にして、当該三次元空間情報を当該原点に対する相対座標に変換した後に、ＳＡ１で取得したシナリオＩＤと対応付けてこの変換後の座標（つまり、ＳＡ２及びＳＡ３で取得した各情報に対応する情報）を図２の空間情報に格納する。ここでは、例えば、図６の基準点オブジェクトＧ１に対応する三次元空間上の基準点の座標を原点にして、三次元空間情報を当該原点に対する相対座標に変換した後に、図２の「ＩＤｓ１」及び「Ｄａ１」を格納する。

次に、図８のＳＡ５及びＳＡ６を、図４のシナリオ情報において、ＳＡ１で取得したシナリオＩＤに対応付けられているタスクＩＤの分だけ適宜繰り返し行うことになるが、まず、図８のＳＡ５において制御部１５は、オブジェクト情報を格納する。具体的には任意であるが、例えば、レンズ部１３にナビゲーションオブジェクトを表示して、表示したナビゲーションオブジェクトに対する操作を、端末装置１への所定操作により受け付けた場合に、当該ナビゲーションオブジェクトに対応するオブジェクト情報を取得して格納する。ここでは、例えば、まず、ユーザが、三次元空間でのナビゲーションオブジェクトＧ２の役割（例えば、消火栓設備の扉の把手を指し示す役割等）を決定して、端末装置１への所定操作により、当該役割に従って、種類情報として「矢印」を選択することにより、制御部１５が、レンズ部１３に、図６のナビゲーションオブジェクトＧ２を表示する。次に、ユーザが、端末装置１への所定操作により、ナビゲーションオブジェクトＧ２を図６に示す位置に移動させて、サイズや方向（つまり、ｘ軸、ｙ軸、ｚ軸からなる直交座標における各軸を基準にした角度）を任意に調整した後に、「保存」等の入力を行う。次に、制御部１５は、当該ナビゲーションオブジェクトＧ２に対応する表示位置特定情報、種類情報、サイズ情報、方向情報をオブジェクト情報として取得することになるが、特に、表示位置特定情報については、ＳＡ３で取得した基準点を基準にしたナビゲーションオブジェクトＧ２（一例としては当該ナビゲーションオブジェクトＧ２の中心の１点）の座標（つまり、ＳＡ４で格納した三次元空間情報の原点に対する相対座標）を特定し、特定した相対座標を表示位置特定情報として取得する。また、前述の選択された「矢印」を種類情報として取得し、また、前述の調整されたサイズ及び方向を夫々、サイズ情報及び方向情報として取得する。次に、制御部１５は、図５に示すように、この取得したオブジェクト情報である「Ｄｏ１」を、現在登録して格納するべきタスクＩＤである例えば「ＩＤｔ１１」と関連つけて格納する。なお、この場合、ナビゲーションオブジェクトＧ２のオブジェクト情報について、従来のように例えばナビゲーションオブジェクトとその周囲の空間領域の点群の三次元空間情報をすべて取得する等を行わずに、少なくとも相対座標である表示位置特定情報、サイズ情報、及び方向情報（つまり、角度の情報）として取得したので、当該オブジェクトの表示位置を特定するための情報量が従来に比べて減少して取り扱いが容易になる（後述のパネル情報も同様である）。特に、複数のオブジェクトについての情報を格納する場合には、従来は、オブジェクト毎に環境情報（つまり、三次元空間情報）を三次元的にスキャンして格納する必要があり、オブジェクトについての情報量が増大する可能性があったが、本願では、例えば１つのみの基準点に対する相対座標、サイズ情報、及び方向情報にて一括で格納することができるので、オブジェクトについての情報量を削減することが可能となる（後述のパネル情報も同様である）。

図８のＳＡ６において制御部１５は、パネル情報を格納する。具体的には任意であるが、例えば、レンズ部１３にパネルオブジェクトを表示して、表示したパネルオブジェクトに対する操作を、端末装置１への所定操作により受け付けた場合に、当該パネルオブジェクトに対応するパネル情報を取得して格納する。ここでは、例えば、まず、制御部１５が、レンズ部１３に、図６のパネルオブジェクトＧ３を表示する。次に、ユーザが、端末装置１への所定操作により、パネルオブジェクトＧ３を図６に示す位置に移動させて、サイズや方向（つまり、ｘ軸、ｙ軸、ｚ軸からなる直交座標における各軸を基準にした角度）を任意に調整した後に、「保存」等の入力を行う。次に、制御部１５は、当該パネルオブジェクトＧ３に対応する表示位置特定情報、サイズ情報、及び方向情報をパネル情報として取得することになるが、特に、表示位置特定情報については、前述のオブジェクト情報と同様にして、ＳＡ３で取得した基準点を基準にしたパネルオブジェクトＧ３（一例としては当該パネルオブジェクトＧ３の中心の１点）の座標（つまり、ＳＡ４で格納した三次元空間情報の原点に対する相対座標）を特定し、特定した相対座標を表示位置特定情報として取得する。また、前述の調整されたサイズ及び方向を夫々、サイズ情報及び方向情報として取得する。次に、制御部１５は、図５に示すように、この取得したパネル情報である「Ｄｐ１」を、現在登録して格納するべきタスクＩＤである例えば「ＩＤｔ１１」と関連つけて格納する。そして、ＳＡ１で取得したシナリオＩＤに対応付けられているタスクＩＤの分だけ適宜繰り返し行った後に、終了する。これにて、登録処理を終了する。

（処理−作業処理）
次に、作業処理について説明する。図９は、作業処理のフローチャートである。図１０は、作業処理中にレンズ部を介してユーザから見える三次元空間を例示した図である。作業処理は、概略的には、支援システム１００の端末装置１にて行われる処理であり、具体的には、ユーザがメンテナンス作業を行う支援等を行う処理である。この作業処理を実行するタイミングは任意であるが、例えば、端末装置１を装着したユーザが各シナリオに関連する三次元空間領域に移動した後に、端末装置１の電源をオンし、端末装置１への所定操作により実施するべきシナリオを選択して、当該シナリオに対応するシナリオＩＤを入力した場合に、起動されて実行を開始することとして、実行を開始したところから説明する。ここでは、例えば、ユーザが図３の第１空間領域Ｒ１の消火栓設備の前で図４の「消火栓点検作業」に対応するシナリオを選択することにより、「ＩＤｓ１」を入力した場合を適宜例示して説明する。

図９のＳＢ１において制御部１５は、情報を取得する。具体的には任意であるが、例えば、作業処理の起動時に入力されたシナリオＩＤに対応するタスクＩＤを図４のシナリオ情報において特定し、特定したタスクＩＤに対応するオブジェクト情報及びパネル情報を図５のタスク情報において特定し、また、前述の特定したタスクＩＤに対応する作業支援情報を図７の支援情報において特定し、特定した各情報を取得する。ここでは、例えば、作業処理の起動時に入力されたシナリオＩＤが「ＩＤｓ１」であるので、図４の「タスクＩＤ」＝「ＩＤｔ１１」及び「ＩＤｔ１２」等を特定し、図５の「オブジェクト情報」＝「Ｄｏ１」及び「Ｄｏ２」、「パネル情報」＝「Ｄｐ１」及び「Ｄｐ２」等を特定し、図７の「作業支援情報」＝「Ｄｈ１」及び「Ｄｈ２」等を特定し、特定したこれらの情報を取得する。

図９のＳＢ２において制御部１５は、三次元空間認識を行う。具体的には任意であるが、例えば、センサ部１２を介して公知の手法で、端末装置１の周辺の三次元空間における特徴点の集合である点群を三次元空間情報として取得して三次元空間認識を行う。ここでは、例えば、図１０の消火栓設備の三次元空間認識を行う。

図９のＳＢ３において制御部１５は、情報をロードする。具体的には任意であるが、例えば、ＳＢ２で認識した情報に三次元空間に対して予め格納されている三次元空間情報をマッチングさせて（対応させて）情報をロードする。詳細には、作業処理の起動時に入力されたシナリオＩＤに対応する三次元空間情報を図２の空間情報から取得し、取得した当該三次元空間情報をＳＢ２で認識した情報に三次元空間に対して対応させることにより、ロードする。ここでは、例えば、図２の「三次元空間情報」＝「Ｄａ１」をＳＢ２で認識した図１０に示される空間に対して対応させてロードする。このようにロードすることにより、ユーザがレンズ部１３を介して現在視認している実際の空間と、予め格納されている各情報（例えば、図２の空間情報や図５のタスク情報）とが相互に対応付けられることになる。

図９のＳＢ４において制御部１５は、タスクを選択する。具体的には任意であるが、例えば、図４のタスクＩＤが実際に行う作業の順序に格納されていることとし、最初に行うべき作業に対応するタスクＩＤのタスクを取得する。ここでは、例えば、図４の「タスクＩＤ」＝「ＩＤｔ１」が最初に行うべき作業であり、次に行うべき作業が「タスクＩＤ」＝「ＩＤｔ２」である場合、「タスクＩＤ」＝「ＩＤｔ１」のタスクを選択する。

図９のＳＢ５において制御部１５は、情報を表示する。具体的には任意であるが、例えば、ＳＢ１で取得した各情報（オブジェクト情報、パネル情報、及び作業支援情報）において、ＳＢ４で選択したタスクに対応する各情報を特定し、特定した情報を表示する。

表示手法について具体的には、まず、オブジェクト情報については、ＳＢ３において説明したように、ユーザがレンズ部１３を介して現在視認している実際の空間と、予め格納されている各情報とが相互に対応付けられることに着目して、当該オブジェクト情報の表示位置特定情報に対応する空間上の位置を予め格納されている三次元空間情報の原点（つまり、図８のＳＡ３で取得した基準点の座標）を基準に特定し、特定した空間上の位置に、オブジェクト情報の種類情報、サイズ情報、及び方向情報に対応するナビゲーションオブジェクトが表示されるように、レンズ部１３にナビゲーションオブジェクトを表示する。ここでは、例えば、図１０のナビゲーションオブジェクトＧ２を表示する。

また、パネル情報については、オブジェクト情報の場合と同様にして、当該パネル情報の表示位置特定情報に対応する空間上の位置を予め格納されている三次元空間情報の原点（つまり、図８のＳＡ３で取得した基準点の座標）を基準に特定し、特定した空間上の位置に、パネル情報のサイズ情報、及び方向情報に対応するパネルオブジェクトが表示されるように、レンズ部１３にパネルオブジェクトを表示する。ここでは、例えば、図１０のパネルオブジェクトＧ３を表示する。

また、作業支援情報については、前述の表示したパネルオブジェクトに対応する位置を特定し、特定した位置に作業支援情報が表示されるように、レンズ部１３に作業支援情報を表示する。ここでは、例えば、図１０のパネルオブジェクトＧ３の「一番上の扉は開閉できますか」等を表示する。なお、このパネルオブジェクトＧ３には、この「一番上の扉は開閉できますか」という文字以外にも様々な情報が表示されるが、このような様々な情報については、予め表示するべきパネル情報に対応付けておいたり、あるいは、作業支援情報として格納しておいたりすることにより、表示されるように構成してもよい。そして、例えば図１０のように各オブジェクトが表示されるので、端末装置１を装着しているユーザは、実際の消火栓設備における作業内容又は作業場所等を、当該オブジェクト等を実際の消火栓設備と共に同時に視認して確認することができるので、作業経験の有無等に関わらず、確実にメンテナンス作業を行うことが可能となる。特に、各オブジェクトが前述の基準点を基準にして表示されているので、ユーザが顔の向きを変えて視認する方向を変更したとしても、各オブジェクトの実際の消火栓設備に対する位置は固定されたままとなるので、実際の消火栓設備における作業内容又は作業場所等を確実に把握することが可能となる。

図９のＳＢ６において制御部１５は、案内を行う。具体的には任意であるが、例えば、ユーザが作業を行うことを促進するための案内を行うが、詳細には、現在表示されているタスク情報に関連する案内を行う。ここでは、例えば、端末装置１の不図示のスピーカを介して、作業支援情報の案内情報である「一番上の扉は開閉できますか」を音声出力すること等により案内を行う。なお、この場合、ユーザは、当該案内に従ってメンテナンス作業を行うことになるが、更なる詳細な支援が必要な場合等の任意の場合には、端末装置１への所定操作を行うことに、支援情報を要求する場合がある。この場合、制御部１５は、当該要求に応じて、作業支援情報における説明情報（例えば、図１０の消火栓設備の扉を開くための取扱説明の静止画又は動画等）を表示することにより、更なる支援を行うことになる。

図９のＳＢ７において制御部１５は、結果登録処理を起動する。「結果登録処理」とは、作業結果を登録するための処理である。図１１は、結果登録処理のフローチャートである。

図１１のＳＣ１において制御部１５は、案内を行う。具体的には任意であるが、例えば、画像撮影を行うか否かを問い合わせる案内を行う。ここでは、例えば、端末装置１の不図示のスピーカを介して、「画像を撮影しますか」等の案内を音声にて行う。

図１１のＳＣ２において制御部１５は、画像撮影を行うか否かを判定する。具体的には任意であるが、例えば、端末装置１への所定操作を受け付けて、受け付けた内容に基づいて判定する。そして、画像撮影を行わないことを受け付けた場合、画像撮影を行わないものと判定し（ＳＣ２のＮＯ）、ＳＣ６に移行する。また、画像撮影を行うことを受け付けた場合、画像撮影を行うものと判定し（ＳＣ２のＹＥＳ）、ＳＣ３に移行する。

図１１のＳＣ３において制御部１５は、撮影等を開始する。具体的には任意であるが、例えば、撮影を開始するための命令に対応する端末装置１への所定操作を受け付けた場合に、撮影を開始する。なお、この場合、端末装置１への所定操作である、空間でのジェスチャー又は音声コマンドの発話自体が撮影、録音、録画されないように、当該入力があった後に所定時間（例えば、１秒から２秒等）の待ち時間が経過した後に、撮影を開始する。このように撮影等を行うことにより、実際の作業内容を記録することができるので、作業内容の客観的な管理を行うことが可能となる。

図１１のＳＣ４において制御部１５は、撮影等を終了する。具体的には任意であるが、例えば、予め定められた回数又は時間だけ撮影等を行なった場合、あるいは、空間でのジェスチャー又は音声コマンドの発話である、端末装置１への所定操作を受け付けた場合に、撮影等を終了する。

図１１のＳＣ５において制御部１５は、結果を記録して登録する。具体的には任意であるが、例えば、ＳＣ３で開始されてＳＣ４で終了した撮影等の結果を取得して、取得した結果を、作業処理の起動時に入力されたシナリオＩＤ、図９のＳＢ４で選択したタスクのタスクＩＤに関連付けて図１の結果情報ＤＢ２２４に作業結果情報として格納する。なお、この場合、ＳＣ４での端末装置１への所定操作である、空間でのジェスチャー又は音声コマンドの発話自体が格納されないように、撮影等を終了する所定時間（例えば、１秒から２秒等）前までの情報を格納してもよい。

また、図１１のＳＣ２において画像撮影を行わないものと判定した後のＳＣ６において、制御部１５は、各種入力モード（例えば、ラジオボタンやチェックボックスにより選択して入力するモード、あるいは、自由フォーマットの情報を入力するモード）を設定し、設定した入力モードにて、作業結果情報を受け付ける。ここでの各種入力モードの設定については任意であるが、例えば、現在実行しているタスク（つまり、図９のＳＢ４で選択したタスク）に対応付けて予め定められており、この予め定められている入力モードを設定してもよいし、あるいは、端末装置１への所定操作によって入力モードが選択できるようにされており、この選択結果に対応する入力モードを設定してもよい。そして、設定した入力モードにおいて、端末装置１への所定操作によって入力された作業結果情報を受け付ける。ここでは、例えば、図１０の場合、チェックボックスにより選択して入力するモードに設定し、「ＹＥＳ」又は「ＮＯ」の選択結果を受け付ける。なお、自由フォーマットの情報を入力するモードに設定した場合、仮想的なキーボードをレンズ部１３に表示して、この仮想的なキーボードをジェスチャーに操作した結果を受け付けるように構成してもよいし、あるいは、音声を受け付けるように構成してもよい。

この後、図１１のＳＣ５において制御部１５は、ＳＣ６で受け付けた作業結果情報を、作業処理の起動時に入力されたシナリオＩＤ、図９のＳＢ４で選択したタスクのタスクＩＤに関連付けて図１の結果情報ＤＢ２２４に格納する。特に、ＳＣ６において自由フォーマットの情報を入力するモードにて受け付けた音声での作業結果情報については、音声情報として格納してもよいし、あるいは、以下に示すようにテキスト情報に変換して格納してもよい。

テキスト情報に変換して格納する場合について具体的には、制御部１５が、公知の手法を用いて音声情報をテキスト情報に変換した後に、当該テキスト情報に句点又は読点を付加するが、まず、句点又は読点を付加するモードである修正モードとして自動的に付加する自動モード、あるいは、手動で付加する手動モードを選択させる画面をレンズ部１３に表示した上で、端末装置１への所定操作を受け付けて、自動モードでは、例えばいわゆる機械学習等の技術を用いて予め定められている候補を用いて、テキスト情報の文字列に句読点を付加するように構成してもよい。また、手動モードでは、例えば句点又は読点を直接入力してもよいし、あるいは、句点に対応する情報（例えば、ピリオド）又は読点に対応する情報（例えば、カンマ）を予め設定しておき、この設定されている情報を入力することにより、テキスト情報の文字列に句読点を付加するように構成してもよい。更に、手動モードで付加した句点又は読点にて区切られる文字列を、前述の自動モードで候補として用いることができるように、これらの文字列を格納してもよい。このようにして格納した後に、結果登録処理をリターンする。

図９のＳＢ８において制御部１５は、作業処理を終了するか否かを判定する。具体的には任意であるが、例えば、ＳＢ１で取得したタスクＩＤ全てについてＳＢ４にて選択したかに基づいて判定する。そして、全てについて選択していない場合、未だ作業を行っていないタスクが存在するので、作業処理を終了しないものと判定し（ＳＢ８のＮＯ）、ＳＢ４に移行した後に、当該ＳＢ４にて未選択のタスクを選択して、前述の各処理を行う。また、既に全てについて選択した場合、全てのタスクについて作業済であるので、作業処理を終了するものと判定し（ＳＢ８のＹＥＳ）、終了する。これにて、作業処理を終了する。

（実施の形態の効果）
このように本実施の形態によれば、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を取得することにより、例えば、物理的なマーカ（例えば、いわゆるＡＲマーカ等）を用いることなく、三次元空間における表示対象の位置を特定することができるので、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる。また、例えば、表示位置を、三次元空間における座標群ではなく基準点に対する相対位置として特定することができるので、当該表示位置を特定するための情報量を減少させることが可能となる。

また、制御部１５が取得した認識情報と、当該制御部１５が取得した表示位置特定情報とに基づいて、表示対象を三次元空間に表示することにより、例えば、三次元空間上における表示対象の位置を確実に特定することができるので、表示対象を表示する位置の位置精度を向上させることが可能となる。

また、実対象に対して順次行うべき実施事項と関連付けて表示対象を表示することにより、例えば、表示対象を用いて実施事項を実施するための案内を行うことができるので、実施事項を確実に行わせることが可能となる。特に、例えば、メンテナンス作業等の現場に適用した場合、ユーザの作業経験の多少に関わらず、あらゆるユーザに対してメンテナンス作業を確実に行わせることが可能となる。

また、実施事項を実施する支援を行うことにより、例えば、実施事項をより確実に実施させることが可能となる。

また、実施事項を実施した結果を受け付けることにより、例えば、実施事項の結果を格納することができるので、実施事項の結果を後に確認することが可能となる。

〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した本発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。

（分散や統合について）
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。例えば、サーバ装置２の少なくとも一部の機能を端末装置１に設けたり、あるいは、端末装置１の少なくとも一部の機能をサーバ装置２に設けたりしてもよい。特に、例えば、サーバ装置のデータ記録部２２の各種ＤＢを端末装置１に設けたうえで、端末装置１単独で上記の各処理を行えるように構成してもよい。

（形状、数値、構造、時系列について）
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。

（その他の機能について）
また、上記実施の形態の支援システム１００に対して、その他の機能を実装してもよく、例えば、メンテナンス作業の作業管理者の端末である管理端末と端末装置１とを相互に通信可能となるように構成した上で、管理端末と端末装置１との間で、音声又はビデオ通話等を行えるように構成したり、あるいは、端末装置１側でレンズ部１３を介して視認される空間を管理端末側でも視認できるように構成したり、あるいは、管理者端末側からの指示を示すナビゲーションオブジェクトをレンズ部１３に表示して端末装置１側のユーザに当該ナビゲーションオブジェクトを視認させるように構成したりしてもよい。

（更なる情報のロードの案内について）
また、上記実施の形態の端末装置１については、実際には、例えば図９のＳＢ２の三次元空間認識を行いつつ各ステップを実行しているので、例えば、端末装置１を装着しているユーザが、図３の「再ロードポイント」付近に移動して、第２空間領域Ｒ２側を視認して当該第２空間領域Ｒ２について三次元空間認識を行った場合、図９のＳＢ３においては、図２の「三次元空間情報」＝「Ｄａ１」を取得して図３の第１空間領域Ｒ１についてのみロードしている状態であったので、当該第２空間領域Ｒ２についてもロードする必要があるが、この場合、以下のように処理してもよい。例えば、端末装置１の制御部１５が、「次の三次元空間情報をサーバから取得してください」等のメッセージを、画像又は音声にて出力して案内してもよく、より詳細には、例えば、図２に示すように、シナリオＩＤと三次元空間情報とが相互に対応付けられていることに着目して、ユーザに分かりやすいように「次のシナリオを選択してください」等のメッセージを出力して案内してもよい。この場合、ユーザが、図２の「シナリオＩＤ」＝「ＩＤｓ２」に対応するシナリオを選択した場合、制御部１５は、「三次元空間情報」＝「Ｄａ２」をサーバ装置２から取得することができるので、図３の第２空間領域Ｒ２についても第１空間領域Ｒ１と同様にしてロードすることができるので、支援システム１００にて支援できる領域を拡張しつつ作業を確実に行うことが可能となる。このように構成した場合、端末装置１の制御部１５が、実対象取得手段が取得した認識情報にて認識される実対象の範囲と、実施事項に対応する実対象の範囲とに基づいて、認識情報に関する案内を行う案内手段として機能する。そして、このように構成した場合、認識情報にて認識される実対象の範囲と、実施事項に対応する実対象の範囲とに基づいて、認識情報に関する案内を行うことにより、例えば、三次元空間上に表示対象を表示するために認識情報が不足している場合等に適切な処置（例えば、更なる認識情報の取得の処置等）を行わせることができるので、表示対象が表示される三次元空間の範囲を拡張することが可能となる。

（特徴について）
また、上記実施の形態と変形例の特徴を任意に組み合わせてもよい。また、各処理の各ステップについては、任意に組み替えてもよい。

（付記）
付記１の表示プログラムは、三次元空間上に表示対象を重畳して表示する表示プログラムであって、コンピュータに、前記表示対象を表示する表示位置であって、前記三次元空間におけるユーザが設定した基準点を基準にした前記表示位置を特定する表示位置特定情報を取得する表示対象取得手段と、前記表示対象取得手段が取得した前記表示位置特定情報に基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する表示手段と、前記三次元空間中の実対象を認識するための認識情報を取得する実対象取得手段と、として機能させ、前記表示手段は、前記実対象取得手段が取得した前記認識情報と、前記表示対象取得手段が取得した前記表示位置特定情報とに基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する。

付記２の表示プログラムは、付記１に記載の表示プログラムにおいて、前記表示手段は、ユーザが前記三次元空間において前記実対象に対して順次行うべき実施事項であって、当該実対象に関連付けられている前記実施事項と関連付けて前記表示対象を表示する。

付記３の表示プログラムは、付記２に記載の表示プログラムにおいて、前記コンピュータを、前記実対象取得手段が取得した前記認識情報にて認識される前記実対象の範囲と、前記実施事項に対応する前記実対象の範囲とに基づいて、前記認識情報に関する案内を行う案内手段、として機能させる。

付記４の表示プログラムは、付記２又は３に記載の表示プログラムにおいて、前記コンピュータを、前記実施事項を実施する支援を行う支援手段、として機能させる。

付記５の表示プログラムは、付記２から４の何れか一項に記載の表示プログラムにおいて、前記コンピュータを、前記実施事項を実施した結果を受け付ける受付手段、として機能させる。

付記６の格納プログラムは、三次元空間上の表示位置に重畳して表示される表示対象の前記表示位置を特定する表示位置特定情報を格納する格納プログラムであって、コンピュータを、前記三次元空間上のユーザが設定した基準点を基準にした前記表示対象の位置を特定する特定手段と、前記特定手段が特定した前記表示対象の位置を特定する情報を前記表示位置特定情報として格納する記録手段と、として機能させる。

付記７の表示システムは、三次元空間上に表示対象を重畳して表示する表示システムであって、前記表示対象を表示する表示位置であって、前記三次元空間におけるユーザが設定した基準点を基準にした前記表示位置を特定する表示位置特定情報を取得する表示対象取得手段と、前記表示対象取得手段が取得した前記表示位置特定情報に基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する表示手段と、前記三次元空間中の実対象を認識するための認識情報を取得する実対象取得手段、を備え、前記表示手段は、前記実対象取得手段が取得した前記認識情報と、前記表示対象取得手段が取得した前記表示位置特定情報とに基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する。

付記８の格納システムは、三次元空間上の表示位置に重畳して表示される表示対象の前記表示位置を特定する表示位置特定情報を格納する格納システムであって、前記三次元空間上のユーザが設定した基準点を基準にした前記表示対象の位置を特定する特定手段と、前記特定手段が特定した前記表示対象の位置を特定する情報を前記表示位置特定情報として格納する記録手段と、を備える。

（付記の効果）
付記１に記載の表示プログラムによれば、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を取得することにより、例えば、物理的なマーカ（例えば、いわゆるＡＲマーカ等）を用いることなく、三次元空間における表示対象の位置を特定することができるので、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる。また、例えば、表示位置を、三次元空間における座標群ではなく基準点に対する相対位置として特定することができるので、当該表示位置を特定するための情報量を減少させることが可能となる。また、実対象取得手段が取得した認識情報と、表示対象取得手段が取得した表示位置特定情報とに基づいて、表示対象を三次元空間に表示することにより、例えば、三次元空間上における表示対象の位置を確実に特定することができるので、表示対象を表示する位置の位置精度を向上させることが可能となる。

付記２に記載の表示プログラムによれば、実対象に対して順次行うべき実施事項と関連付けて表示対象を表示することにより、例えば、表示対象を用いて実施事項を実施するための案内を行うことができるので、実施事項を確実に行わせることが可能となる。特に、例えば、メンテナンス作業等の現場に適用した場合、ユーザの作業経験の多少に関わらず、あらゆるユーザに対してメンテナンス作業を確実に行わせることが可能となる。

付記３に記載の表示プログラムによれば、認識情報にて認識される実対象の範囲と、実施事項に対応する実対象の範囲とに基づいて、認識情報に関する案内を行うことにより、例えば、三次元空間上に表示対象を表示するために認識情報が不足している場合等に適切な処置（例えば、更なる認識情報の取得の処置等）を行わせることができるので、表示対象が表示される三次元空間の範囲を拡張することが可能となる。

付記４に記載の表示プログラムによれば、実施事項を実施する支援を行うことにより、例えば、実施事項をより確実に実施させることが可能となる。

付記５に記載の表示プログラムによれば、実施事項を実施した結果を受け付けることにより、例えば、実施事項の結果を格納することができるので、実施事項の結果を後に確認することが可能となる。

付記６に記載の格納プログラムによれば、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を格納することにより、例えば、物理的なマーカ（例えば、いわゆるＡＲマーカ等）を用いることなく、三次元空間における表示対象の位置を特定することができるので、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる。また、例えば、表示位置を、三次元空間における座標群ではなく基準点に対する相対位置として特定することができるので、当該表示位置を特定するための情報量を減少させることが可能となる。

付記７に記載の表示システムによれば、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を取得することにより、例えば、物理的なマーカ（例えば、いわゆるＡＲマーカ等）を用いることなく、三次元空間における表示対象の位置を特定することができるので、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる。また、例えば、表示位置を、三次元空間における座標群ではなく基準点に対する相対位置として特定することができるので、当該表示位置を特定するための情報量を減少させることが可能となる。また、実対象取得手段が取得した認識情報と、表示対象取得手段が取得した表示位置特定情報とに基づいて、表示対象を三次元空間に表示することにより、例えば、三次元空間上における表示対象の位置を確実に特定することができるので、表示対象を表示する位置の位置精度を向上させることが可能となる。

付記８に記載の格納システムによれば、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を格納することにより、例えば、物理的なマーカ（例えば、いわゆるＡＲマーカ等）を用いることなく、三次元空間における表示対象の位置を特定することができるので、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる。また、例えば、表示位置を、三次元空間における座標群ではなく基準点に対する相対位置として特定することができるので、当該表示位置を特定するための情報量を減少させることが可能となる。

１ 端末装置
２ サーバ装置
１１ 通信部
１２ センサ部
１３ レンズ部
１４ データ記録部
１５ 制御部
２１ 通信部
２２ データ記録部
２３ 制御部
１００ 支援システム
２２１ 空間情報ＤＢ
２２２ 作業情報ＤＢ
２２３ 支援情報ＤＢ
２２４ 結果情報ＤＢ
Ｒ１ 第１空間領域
Ｒ２ 第２空間領域
Ｇ１ 基準点オブジェクト
Ｇ２ ナビゲーションオブジェクト
Ｇ３ パネルオブジェクト

上述した課題を解決し、目的を達成するために、請求項１に記載の表示プログラムは、三次元空間上に表示対象を重畳して表示する表示プログラムであって、コンピュータに、前記表示対象を表示する表示位置であって、前記三次元空間におけるユーザが設定した基準点を基準にした前記表示位置を特定する表示位置特定情報を取得する表示対象取得手段と、前記表示対象取得手段が取得した前記表示位置特定情報に基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する表示手段と、前記三次元空間中の実対象を認識するための認識情報を取得する実対象取得手段、として機能させ、前記表示手段は、前記実対象取得手段が取得した前記認識情報と、前記表示対象取得手段が取得した前記表示位置特定情報とに基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示し、前記表示手段は、ユーザが前記三次元空間において前記実対象に対して順次行うべき実施事項であって、当該実対象に関連付けられている前記実施事項と関連付けて前記表示対象を表示し、前記コンピュータを、前記実対象取得手段が取得した前記認識情報にて認識される前記実対象の範囲と、前記実施事項に対応する前記実対象の範囲とに基づいて、前記認識情報に関する案内を行う案内手段、として機能させ、前記案内手段は、前記認識情報の不足を補う案内を行う。

請求項２に記載の表示プログラムは、請求項１に記載の表示プログラムにおいて、前記コンピュータを、前記実施事項を実施する支援を行う支援手段、として機能させる。

請求項３に記載の表示プログラムは、請求項１又は２に記載の表示プログラムにおいて、前記コンピュータを、前記実施事項を実施した結果を受け付ける受付手段、として機能させる。
請求項４に記載の表示プログラムは、請求項１から３の何れか一項に記載の表示プログラムにおいて、前記実対象取得手段は、前記基準点を基準にした情報を前記認識情報として取得する。

請求項５に記載の表示システムは、三次元空間上に表示対象を重畳して表示する表示システムであって、前記表示対象を表示する表示位置であって、前記三次元空間におけるユーザが設定した基準点を基準にした前記表示位置を特定する表示位置特定情報を取得する表示対象取得手段と、前記表示対象取得手段が取得した前記表示位置特定情報に基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する表示手段と、前記三次元空間中の実対象を認識するための認識情報を取得する実対象取得手段、を備え、前記表示手段は、前記実対象取得手段が取得した前記認識情報と、前記表示対象取得手段が取得した前記表示位置特定情報とに基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示し、前記表示手段は、ユーザが前記三次元空間において前記実対象に対して順次行うべき実施事項であって、当該実対象に関連付けられている前記実施事項と関連付けて前記表示対象を表示し、前記実対象取得手段が取得した前記認識情報にて認識される前記実対象の範囲と、前記実施事項に対応する前記実対象の範囲とに基づいて、前記認識情報に関する案内を行う案内手段を備え、前記案内手段は、前記認識情報の不足を補う案内を行う。
請求項６に記載の表示システムは、請求項５に記載の表示システムにおいて、前記実対象取得手段は、前記基準点を基準にした情報を前記認識情報として取得する。

請求項１に記載の表示プログラムによれば、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を取得することにより、例えば、物理的なマーカ（例えば、いわゆるＡＲマーカ等）を用いることなく、三次元空間における表示対象の位置を特定することができるので、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる。また、例えば、表示位置を、三次元空間における座標群ではなく基準点に対する相対位置として特定することができるので、当該表示位置を特定するための情報量を減少させることが可能となる。また、実対象取得手段が取得した認識情報と、表示対象取得手段が取得した表示位置特定情報とに基づいて、表示対象を三次元空間に表示することにより、例えば、三次元空間上における表示対象の位置を確実に特定することができるので、表示対象を表示する位置の位置精度を向上させることが可能となる。
また、実対象に対して順次行うべき実施事項と関連付けて表示対象を表示することにより、例えば、表示対象を用いて実施事項を実施するための案内を行うことができるので、実施事項を確実に行わせることが可能となる。特に、例えば、メンテナンス作業等の現場に適用した場合、ユーザの作業経験の多少に関わらず、あらゆるユーザに対してメンテナンス作業を確実に行わせることが可能となる。
また、認識情報にて認識される実対象の範囲と、実施事項に対応する実対象の範囲とに基づいて、認識情報に関する案内を行うことにより、例えば、三次元空間上に表示対象を表示するために認識情報が不足している場合等に適切な処置（例えば、更なる認識情報の取得の処置等）を行わせることができるので、表示対象が表示される三次元空間の範囲を拡張することが可能となる。

請求項２に記載の表示プログラムによれば、実施事項を実施する支援を行うことにより、例えば、実施事項をより確実に実施させることが可能となる。

請求項３に記載の表示プログラムによれば、実施事項を実施した結果を受け付けることにより、例えば、実施事項の結果を格納することができるので、実施事項の結果を後に確認することが可能となる。

請求項５に記載の表示システムによれば、三次元空間におけるユーザが設定した基準点を基準にした表示位置を特定する表示位置特定情報を取得することにより、例えば、物理的なマーカ（例えば、いわゆるＡＲマーカ等）を用いることなく、三次元空間における表示対象の位置を特定することができるので、あらゆる三次元空間上に表示対象を仮想的に表示することが可能となる。また、例えば、表示位置を、三次元空間における座標群ではなく基準点に対する相対位置として特定することができるので、当該表示位置を特定するための情報量を減少させることが可能となる。また、実対象取得手段が取得した認識情報と、表示対象取得手段が取得した表示位置特定情報とに基づいて、表示対象を三次元空間に表示することにより、例えば、三次元空間上における表示対象の位置を確実に特定することができるので、表示対象を表示する位置の位置精度を向上させることが可能となる。
また、実対象に対して順次行うべき実施事項と関連付けて表示対象を表示することにより、例えば、表示対象を用いて実施事項を実施するための案内を行うことができるので、実施事項を確実に行わせることが可能となる。特に、例えば、メンテナンス作業等の現場に適用した場合、ユーザの作業経験の多少に関わらず、あらゆるユーザに対してメンテナンス作業を確実に行わせることが可能となる。
また、認識情報にて認識される実対象の範囲と、実施事項に対応する実対象の範囲とに基づいて、認識情報に関する案内を行うことにより、例えば、三次元空間上に表示対象を表示するために認識情報が不足している場合等に適切な処置（例えば、更なる認識情報の取得の処置等）を行わせることができるので、表示対象が表示される三次元空間の範囲を拡張することが可能となる。

Claims (8)

1. 三次元空間上に表示対象を重畳して表示する表示プログラムであって、
   コンピュータに、
   前記表示対象を表示する表示位置であって、前記三次元空間におけるユーザが設定した基準点を基準にした前記表示位置を特定する表示位置特定情報を取得する表示対象取得手段と、
   前記表示対象取得手段が取得した前記表示位置特定情報に基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する表示手段と、
   前記三次元空間中の実対象を認識するための認識情報を取得する実対象取得手段と、として機能させ、
   前記表示手段は、前記実対象取得手段が取得した前記認識情報と、前記表示対象取得手段が取得した前記表示位置特定情報とに基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する、
   表示プログラム。
2. 前記表示手段は、ユーザが前記三次元空間において前記実対象に対して順次行うべき実施事項であって、当該実対象に関連付けられている前記実施事項と関連付けて前記表示対象を表示する、
   請求項１に記載の表示プログラム。
3. 前記コンピュータを、前記実対象取得手段が取得した前記認識情報にて認識される前記実対象の範囲と、前記実施事項に対応する前記実対象の範囲とに基づいて、前記認識情報に関する案内を行う案内手段、として機能させる、
   請求項２に記載の表示プログラム。
4. 前記コンピュータを、前記実施事項を実施する支援を行う支援手段、として機能させる、
   請求項２又は３に記載の表示プログラム。
5. 前記コンピュータを、前記実施事項を実施した結果を受け付ける受付手段、として機能させ、
   請求項２から４の何れか一項に記載の表示プログラム。
6. 三次元空間上の表示位置に重畳して表示される表示対象の前記表示位置を特定する表示位置特定情報を格納する格納プログラムであって、
   コンピュータを、
   前記三次元空間上のユーザが設定した基準点を基準にした前記表示対象の位置を特定する特定手段と、
   前記特定手段が特定した前記表示対象の位置を特定する情報を前記表示位置特定情報として格納する記録手段と、
   として機能させる格納プログラム。
7. 三次元空間上に表示対象を重畳して表示する表示システムであって、
   前記表示対象を表示する表示位置であって、前記三次元空間におけるユーザが設定した基準点を基準にした前記表示位置を特定する表示位置特定情報を取得する表示対象取得手段と、
   前記表示対象取得手段が取得した前記表示位置特定情報に基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する表示手段と、
   前記三次元空間中の実対象を認識するための認識情報を取得する実対象取得手段、を備え、
   前記表示手段は、前記実対象取得手段が取得した前記認識情報と、前記表示対象取得手段が取得した前記表示位置特定情報とに基づいて、前記表示対象を前記三次元空間上の前記表示位置に重畳して表示する、
   表示システム。
8. 三次元空間上の表示位置に重畳して表示される表示対象の前記表示位置を特定する表示位置特定情報を格納する格納システムであって、
   前記三次元空間上のユーザが設定した基準点を基準にした前記表示対象の位置を特定する特定手段と、
   前記特定手段が特定した前記表示対象の位置を特定する情報を前記表示位置特定情報として格納する記録手段と、
   を備える格納システム。
   

Images