JP2017108263A - 端末、位置関係算出プログラムおよび位置関係算出方法 - Google Patents

Abstract

【課題】マーカーと対象物との位置関係を適切に特定すること。【解決手段】端末１は、撮像装置２に接続されている。端末１は、記憶部１ａと検出部１ｂと算出部１ｃとを有する。検出部１ｂは、撮像装置２が撮像した入力画像Ｐ１を取得する。検出部１ｂは、入力画像Ｐ１から対象物に関する情報を有するマーカー画像Ｍ１を検出する。算出部１ｃは、マーカー画像Ｍ１に格納されている対象物の情報を取得する。算出部１ｃは、対象物の情報と入力画像Ｐ１内のマーカー画像Ｍ１の位置とに基づいて、マーカー画像Ｍ１と物体画像Ｐ１ａとの位置関係を算出する。【選択図】図１

Description

本発明は端末、位置関係算出プログラムおよび位置関係算出方法に関する。

撮像装置によって撮像された画像に対して画像処理を行う技術が利用されている。例えば、監視カメラによる監視機能を損なわずにプライバシー保護を図る提案がある。この提案では、一方向に回転可能な監視カメラによる撮影視野を、垂直方向および水平方向に分割し、カメラの回転角度を用いて、事前に登録済の特定視野領域と撮影視野との重合状態を決定し、重合部分をマスキング処理する。

また、カメラ映像とスケルトンモデルとが重なる領域以外の背景領域に塗り潰し処理やモザイク処理などの背景処理を行う提案もある。この提案では、スケルトンモデルの形状を、カメラ映像内のオブジェクトの形状にフィッティングさせる手動操作を検知し、オブジェクトの追跡結果に基づいて、スケルトンモデルをカメラ映像に対して位置決めする。

更に、取得済み画像の一部を自動特定して重点領域にし、重点領域画像を表示する提案もある。

特開平６−１８１５３９号公報 特開２０１５−５０５３８号公報 特表２００７−５２３５２１号公報

所定のマーカーを物体（対象物）に予め付与しておき、画像処理に利用することが考えられる。例えば、ユーザが利用する端末などによって、対象物を撮影した画像からマーカー部分を検出し、画像上のマーカーの位置に対して予め定められた相対位置に、付加情報（例えば、作業支援用の画像など）を、撮影した画像に重畳して表示し得る。対象物毎にマーカーを同じ位置に配置できれば、画像上のマーカーの位置に対する相対位置を指定するだけで、対象物の画像の範囲内または範囲外の特定の位置に付加情報を表示し得る。

ところが、対象物毎に必ずしも同じ位置にマーカーを配置できるとは限らない。例えば、設備の保守作業の支援のため、運用中の既存の機器などに対し、マーカーを新たに付与する場合もある。既存の機器には、ケーブルなどが既に接続されていたり、マーカー以外のラベルが既に貼り付けられていたりすることもあり、特定の位置にマーカーを貼り付けることができないことがある。このため、端末が、撮像した画像に対しマーカーを用いて付加情報を付与する場合に、画像内におけるマーカーと対象物との位置関係を適切に把握できないことがあるという問題がある。

本発明は、マーカーと対象物との位置関係を適切に特定できる端末、位置関係算出プログラムおよび位置関係算出方法を提供することを目的とする。

１つの態様では、端末が提供される。端末は、検出部と算出部とを有する。検出部は、画像から対象物に関する情報を有する対象画像を検出する。算出部は、対象画像から対象物の情報を取得し、対象物の情報と画像内の対象画像の位置とに基づいて、対象画像と対象物との位置関係を算出する。

また、１つの態様では、位置関係算出プログラムが提供される。位置関係算出プログラムは、コンピュータに、画像から対象物の情報が格納されている対象画像を検出し、対象画像から対象物の情報を取得し、対象物の情報と画像内の対象画像の位置とに基づいて、対象画像と対象物との位置関係を算出する、処理を実行させる。

また、１つの態様では、位置関係算出方法が提供される。位置関係算出方法では、コンピュータが、画像から対象物の情報が格納されている対象画像を検出し、対象画像から対象物の情報を取得し、対象物の情報と画像内の対象画像の位置とに基づいて、対象画像と対象物との位置関係を算出する。

マーカーと対象物との位置関係を適切に特定できる。

第１の実施の形態の端末を示す図である。 第２の実施の形態の保守システムを示す図である。 スマート端末のハードウェア例を示す図である。 スマート端末の機能例を示す図である。 マーカー画像に対する座標系の例を示す図である。 ＡＲ管理テーブルの例を示す図である。 制御テーブルの例を示す図である。 作業支援の例を示すフローチャートである。 物体形状枠生成の例を示すフローチャートである。 物体形状枠比率計算の例を示すフローチャートである。 ＡＲ画像生成の例を示すフローチャートである。 画像送信処理の例を示すフローチャートである。 スマート端末の表示例（その１）を示す図である。 スマート端末の表示例（その２）を示す図である。 マスク画像の生成例（その１）を示す図である。 マスク画像の生成例（その２）を示す図である。 マスク画像の生成例（その３）を示す図である。 マスク画像の生成例（その４）を示す図である。 スマート端末の表示例（その３）を示す図である。 支援端末の表示例を示す図である。 撮像方向の変更例を示す図である。 画像の変形例を示す図である。 画像の変形例（続き）を示す図である。 情報機器の特徴点の例を示す図である。 作業支援の他の例を示すフローチャートである。 枠設定の例を示すフローチャートである。 枠設定の具体例を示す図である。

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の端末を示す図である。端末１は、撮像装置２および出力装置３に接続されている。撮像装置２は、物体４，５，６を撮像するカメラである。出力装置３は、端末１が出力する画像を表示するディスプレイである。出力装置３は、端末１が出力する画像を他の装置に送信するネットワークインタフェースでもよい。端末１は、撮像装置２および出力装置３を内蔵してもよい。

物体４，５，６は、例えばサーバコンピュータ、スイッチ、および、ストレージ装置などを含む情報機器である。ただし、物体４，５，６は、情報機器以外のものでもよい。物体４，５，６は、並べて設置されている。物体４には、マーカー４ａが付与されている。マーカー４ａは、物体４に関する情報に対応する所定のパターン化された画像（対象画像）である。当該パターンは、例えば、色（白／黒など）で区別される２次元の図形の組み合わせでもよい。マーカー４ａは、例えば、ＡＲ（Augmented Reality）と呼ばれる技術に用いられるＡＲマーカーでもよい。ＡＲでは、例えば、撮像中の画像の一部に、画像内のＡＲマーカーに応じた付加的な情報（付加画像など）を付与して表示することがある。

ここで、マーカー４ａは、物体４の任意の位置（撮像装置２により撮像可能な面の任意の位置）に貼り付け可能である。端末１は、撮像装置２により撮像された、物体４およびマーカー４ａを含む入力画像Ｐ１を解析して、マーカー４ａと物体４との位置関係を取得する機能を提供する。

端末１は、記憶部１ａ、検出部１ｂおよび算出部１ｃを有する。記憶部１ａは、ＲＡＭ（Random Access Memory）などの揮発性記憶装置でもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性記憶装置でもよい。

検出部１ｂおよび算出部１ｃは、端末１が備える演算装置（図１では図示を省略している）によって実現されてもよい。演算装置は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを含み得る。演算装置はプログラムを実行するプロセッサであってもよい。「プロセッサ」は、複数のプロセッサの集合（マルチプロセッサ）も含み得る。

記憶部１ａは、検出部１ｂおよび算出部１ｃの処理に用いられる各種のデータを記憶する。
検出部１ｂは、撮像装置２から入力画像Ｐ１を取得する。入力画像Ｐ１は、撮像装置２が物体４，５，６を含む領域を撮像することで生成された画像である。入力画像Ｐ１は、物体画像Ｐ１ａ，Ｐ１ｂ，Ｐ１ｃおよびマーカー画像Ｍ１を含む。物体画像Ｐ１ａは、物体４の画像である。物体画像Ｐ１ｂは、物体５の画像である。物体画像Ｐ１ｃは、物体６の画像である。マーカー画像Ｍ１は、マーカー４ａの画像である。

検出部１ｂは、撮像装置２によって生成された画像からマーカーを検出する。例えば、検出部１ｂは、入力画像Ｐ１からマーカー画像Ｍ１を検出する。なお、マーカー画像Ｍ１は、物体４に付与されたマーカー４ａに相当しており、マーカー画像Ｍ１を単に「マーカー」と称してもよい。ただし、図１の説明では、物体４に付与されたマーカー４ａと区別するために、入力画像Ｐ１内の「マーカー」については、マーカー画像Ｍ１と称する。

算出部１ｃは、マーカーに格納されている対象物の情報を取得し、対象物の情報と画像内のマーカーの位置とに基づいて、マーカーと対象物との位置関係を算出する。具体的には次の通りである。

例えば、算出部１ｃは、マーカー画像Ｍ１を解析することで、対象物である物体４の情報を取得する。例えば、物体４の情報としては、物体４の識別情報が考えられる。物体４の識別情報は“Ｘ”である。例えば、記憶部１ａは、テーブルＴ１を記憶している。

テーブルＴ１は、識別情報と、対象物に関する対象物情報とを対応づけたレコードを含む。対象物情報は、例えば、対象物の輪郭形状やサイズに関する情報を含む。例えば、対象物情報は、対象物の輪郭が四角形であれば、四角形の辺の縦横比を含む。後述するように、対象物情報は、対象物の特徴点の形状や特徴点の対象物における位置情報を含んでもよい。例えば、テーブルＴ１は、識別情報“Ｘ”と対象物情報“Ｘ１”との対応関係を含む。対象物情報“Ｘ１”は、物体４のサイズに関する情報を含んでいる。算出部１ｃは、対象物情報“Ｘ１”を基に、物体４の枠画像Ｆｒ１を生成する。枠画像Ｆｒ１は、対象物の輪郭を示す画像である。ここで、一例として、枠画像Ｆｒ１は長方形であるとする。

なお、マーカー４ａ（およびマーカー画像Ｍ１）を、対象物情報“Ｘ１”を含むパターンとして作成することも考えられる。この場合、算出部１ｃは、テーブルＴ１を用いずに、マーカー画像Ｍ１から対象物情報“Ｘ１”を取得してもよい。

算出部１ｃは、枠画像Ｆｒ１と、入力画像Ｐ１に含まれる物体画像Ｐ１ａの縁（輪郭）とを一致させる。例えば、上記のように、対象物情報“Ｘ１”が物体４の特徴点の形状および特徴点の物体４における位置の情報を含む場合を考える。この場合、算出部１ｃは、物体画像Ｐ１ａの特徴点の配置と、対象物情報“Ｘ１”の特徴点の配置とが一致するように、枠画像Ｆｒ１を変形および移動させることで、枠画像Ｆｒ１と、物体画像Ｐ１ａの縁とを一致させる。算出部１ｃは、枠画像Ｆｒ１を変形する際に、マーカー画像Ｍ１の基準形状および基準サイズに対する変形率を用いてもよい。例えば、記憶部１ａは、マーカー画像Ｍ１に対応する識別情報に対応づけて、当該基準形状および基準サイズを予め記憶していてもよい。

あるいは、算出部１ｃは、端末１のユーザの操作によって枠画像Ｆｒ１と、物体画像Ｐ１ａの縁との一致を検出してもよい。例えば、算出部１ｃは、入力画像Ｐ１に枠画像Ｆｒ１を重畳させた画像（枠重畳画像と称する）を、出力装置３に出力し、ディスプレイの表示によりユーザに提示する。算出部１ｃは、ユーザにより撮像装置２の物体４に対する位置が変更されると、変更に応じて、枠重畳画像のうち、枠画像Ｆｒ１以外の領域（枠画像Ｆｒ１の背景画像と称してもよい）を撮像装置２により撮像されている領域の画像に変更する。すると、ユーザは、撮像装置２の物体４に対する位置を変更しながら、ディスプレイ上で、枠画像Ｆｒ１を物体４の物体画像Ｐ１ａの縁に一致させることができる。ユーザは、枠画像Ｆｒ１と物体４の物体画像Ｐ１ａの縁との一致を確認すると、一致した旨を、端末１に対する所定の操作により端末１に入力する。算出部１ｃは、当該入力を検出することで、枠画像Ｆｒ１と物体画像Ｐ１ａの縁との一致を検出する。

ここで、枠画像Ｆｒ２は、上記の何れかの方法により、枠画像Ｆｒ１を物体画像Ｐ１ａの縁に一致させた状態を示している。
算出部１ｃは、マーカー画像Ｍ１と枠画像Ｆｒ２との位置関係に基づいて、マーカー画像Ｍ１と物体画像Ｐ１ａとの位置関係を算出する。例えば、マーカー画像Ｍ１の複数の頂点のうちの１つを基準点とする。一例として、マーカー４ａおよびマーカー画像Ｍ１は四角形であり、４つの頂点のうち頂点Ｃ１を基準点とする。すると、算出部１ｃは、頂点Ｃ１と枠画像Ｆｒ２の各辺との距離（頂点Ｃ１から各辺に下ろした垂線の長さ）を算出可能である。距離（長さ）は、例えば、ピクセル値で表わすことができる。

点Ｃ２，Ｃ３，Ｃ４，Ｃ５は、頂点Ｃ１から枠画像Ｆｒ２の各辺に下ろした垂線と、枠画像Ｆｒ２の各辺との交点である。すると、算出部１ｃは、点Ｃ１，Ｃ２間の距離Ｌ１、点Ｃ１，Ｃ３間の距離Ｌ２、点Ｃ１，Ｃ４間の距離Ｌ３、および、点Ｃ１，Ｃ５間の距離Ｌ４を求めることができる。枠画像Ｆｒ２は、物体画像Ｐ１ａの縁に一致しているので、距離Ｌ１，Ｌ２，Ｌ３，Ｌ４は、マーカー画像Ｍ１の基準点Ｃ１から、物体画像Ｐ１ａの縁の各辺までの距離に一致する。

すなわち、算出部１ｃは、物体画像Ｐ１ａに対するマーカー画像Ｍ１の位置を把握できたことになる。マーカー画像Ｍ１および物体画像Ｐ１ａは、マーカー４ａおよび物体４が撮像装置２によって撮像された結果であるので、マーカー画像Ｍ１と物体画像Ｐ１ａとの位置関係は、マーカー４ａと物体４との位置関係に相当する。こうして、算出部１ｃは、マーカー画像Ｍ１と物体画像Ｐ１ａとの位置関係（すなわち、マーカー（対象画像）４ａと物体４との位置関係）を適切に算出することができる。

端末１を用いることで、物体４に対するマーカー４ａの貼り付け位置を固定せずに済む。このため、物体４の任意の位置（ただし、外部から撮像可能な箇所）にマーカー４ａを貼り付けても、端末１は、マーカー４ａと物体４との位置関係を適切に把握できる。また、マーカー４ａの貼り付け位置に対する制限を緩和できる利点もある。

更に、端末１は、算出部１ｃによって算出された位置関係に基づいて、入力画像Ｐ１の一部に付加画像を重畳した画像を生成し、出力装置３に出力してもよい。例えば、セキュリティなどの関係上、マーカー４ａが付された物体４以外の物体５，６について、出力画像Ｐ２上で視認できないよう隠したいことがある。その場合、付加画像として、物体画像Ｐ１ａ以外の領域を隠すマスク画像を生成し、入力画像Ｐ１に重畳させて、出力画像Ｐ２を作成することが考えられる。このとき、算出部１ｃにより算出されたマーカー画像Ｍ１と物体画像Ｐ１ａとの位置関係を利用可能である。

具体的には、入力画像Ｐ１のうち、マーカー画像Ｍ１の基準点Ｃ１を原点（０，０）として、座標（Ｌ４，Ｌ１）、（Ｌ４，−Ｌ３）、（−Ｌ２，−Ｌ３）、（−Ｌ２，Ｌ１）の４つの頂点を含む四角形の外側の領域をマスクすればよい。よって、端末１は、当該四角形の外側の領域を隠すためのマスク画像Ｐ２ａを生成し、入力画像Ｐ１に重畳することで、出力画像Ｐ２を生成する。出力画像Ｐ２では、物体画像Ｐ１ａ以外の領域がマスク画像Ｐ２ａにより隠されている。端末１は、出力画像Ｐ２を出力装置３に出力する。

撮影しながら、マーカー４ａと撮像装置２との位置関係が変わることもある。ここで、マーカー画像Ｍ１を検出してマスク画像Ｐ２ａの表示位置を変更する場合、マーカー画像Ｍ１に対するマスク画像Ｐ２ａの相対的な位置を把握できなければ、撮像装置２の撮像位置の変更に追随してマスク画像Ｐ２ａの表示位置の変更を行うことが難しい。検出対象がマーカー画像Ｍ１であるため、端末１は、マーカー画像Ｍ１を基準としてマスク画像Ｐ２ａの表示位置を決定するからである。

この点、端末１によれば、マーカー画像Ｍ１と物体画像Ｐ１ａとの位置関係から、マーカー画像Ｍ１に対するマスク画像Ｐ２ａの相対位置を把握できるので、撮像装置２の撮像位置の変更に追随してマスク画像Ｐ２ａの表示位置を変更できる。このため、端末１は、撮像装置２の動き（撮像される画像の変化）に追随して、物体画像Ｐ１ａ以外の領域を適切にマスクした出力画像Ｐ２を出力できる。

すると、例えば、出力装置３により、出力画像Ｐ２が他の装置に送信されて、他の装置上で、出力画像Ｐ２が表示されたとしても、他のユーザは、出力画像Ｐ２からは物体画像Ｐ１ａ以外の領域を視認できない。このように、端末１は、マーカー画像Ｍ１と物体画像Ｐ１ａとの位置関係に基づいて、物体画像Ｐ１ａに対する適切な位置に付加画像を付与することが可能となる。また、上記のように、付加画像としてマスク画像を付与することで、出力装置３に出力画像Ｐ２を出力する場合に、物体５，６の外観を秘匿でき、物体４以外の余計な物を他者に見られずに済む。よって、画像出力時のセキュリティ性を高めることができる。

［第２の実施の形態］
図２は、第２の実施の形態の保守システムを示す図である。第２の実施の形態の保守システムは、データセンタなどの施設に設置された複数の情報機器（例えば、情報機器１０）の保守を支援するシステムである。第２の実施の形態の保守システムは、スマート端末１００、ストリーミングサーバ２００および支援端末３００を含む。ストリーミングサーバ２００および支援端末３００は、ネットワーク２０に接続されている。ネットワーク２０は、例えば、組織内に敷設されたＬＡＮ（Local Area Network）でもよいし、インターネットなどの広域ネットワークでもよい。ネットワーク２０には、アクセスポイント２１が接続されている。アクセスポイント２１は、無線通信の中継装置である。スマート端末１００は、アクセスポイント２１を介してネットワーク２０に接続されている。

第２の実施の形態の保守システムは、情報機器１０が設置された現地で作業を行う作業者Ｕ１、および、作業者Ｕ１を遠隔地から支援する支援者Ｕ２によって利用される。作業者Ｕ１は、支援者Ｕ２から作業に関する指示を受けることができる。作業者Ｕ１および支援者Ｕ２は、第２の実施の形態の保守システムのユーザであるといえる。

情報機器１０は、サーバコンピュータ、スイッチ、および、ストレージ装置などを含む。情報機器１０には、ＡＲマーカー１１，１２が付与されている。ＡＲマーカー１１，１２は、情報機器１０を撮像した画像に対して、所定の付加画像を付与するために用いられる標識である。第２の実施の形態では、一例として、ＡＲマーカーの形状を四角形とするが、他の多角形でもよい。第２の実施の形態の例では、ＡＲマーカーは、情報機器の任意の位置に貼り付け可能である。

スマート端末１００は、作業者Ｕ１によって利用されるクライアントコンピュータである。スマート端末１００は、カメラおよびディスプレイを備えており、カメラによってＡＲマーカー１１，１２を含む領域を撮像し、撮像した画像に重ねて、ＡＲマーカー１１，１２に応じた画像（例えば、作業支援用の画像）をディスプレイ上に表示させることができる。これにより、スマート端末１００は、作業者Ｕ１による作業を支援する。このように、元の画像に付加画像をリアルタイムに重畳して表示させ、現実の情報に対して付加的な情報を提供する技術は、拡張現実（ＡＲ）と呼ばれることがある。以下の説明では、当該付加画像をＡＲ画像と称することがある。スマート端末１００は、撮像した画像を、ストリーミングサーバ２００に送信することもできる。スマート端末１００は、第１の実施の形態の端末１の一例である。

ストリーミングサーバ２００は、スマート端末１００から受信した画像を、支援端末３００に配信するサーバコンピュータである。
支援端末３００は、ストリーミングサーバ２００が配信する画像を受信し、支援者Ｕ２に提供するクライアントコンピュータである。支援者Ｕ２は、支援端末３００が提供する画像を閲覧することで、スマート端末１００により撮像されている画像を、作業者Ｕ１と共有することができる。支援者Ｕ２は、支援端末３００が提供する画像を確認しながら、電話やチャットなどの手段を用いて、作業者Ｕ１に作業指示を伝えることができる。

ここで、情報機器の保守を行う保守事業者が顧客の施設で作業を行う場合、作業者Ｕ１が支援者Ｕ２の後方支援を受ける際に、保守事業者が作業対象とする情報機器以外の情報機器が支援者Ｕ２により視認できないようにすることが考えられる。そこで、スマート端末１００は、情報機器に付されたＡＲマーカーを用いて、作業対象の情報機器以外の領域をマスクし、当該マスク後の画像を送信する機能を提供する。

図３は、スマート端末のハードウェア例を示す図である。スマート端末１００は、プロセッサ１０１、ＲＡＭ１０２、フラッシュメモリ１０３、正面カメラ１０４、背面カメラ１０５、ディスプレイ１０６、スピーカ１０７、タッチパネル１０８、マイク１０９、媒体リーダ１１０および通信インタフェース１１１を有する。各ユニットはスマート端末１００のバスに接続されている。ストリーミングサーバ２００や支援端末３００もスマート端末１００と同様のユニットを用いて実現できる。

プロセッサ１０１は、スマート端末１００の情報処理を制御する。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡなどである。プロセッサ１０１は、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどのうちの２以上の要素の組み合わせであってもよい。

ＲＡＭ１０２は、スマート端末１００の主記憶装置である。ＲＡＭ１０２は、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ１０２は、プロセッサ１０１による処理に用いる各種データを記憶する。

フラッシュメモリ１０３は、スマート端末１００の補助記憶装置である。フラッシュメモリ１０３は、内蔵の記憶素子に対して、電気的にデータの書き込みおよび読み出しを行う。フラッシュメモリ１０３は、ＯＳのプログラム、アプリケーションプログラム、および各種データを記憶する。

正面カメラ１０４は、スマート端末１００のディスプレイ１０６と同じ面（正面）に設けられた撮像装置である。
背面カメラ１０５は、スマート端末１００のディスプレイ１０６とは反対側の面（背面）に設けられた撮像装置である。

ディスプレイ１０６は、プロセッサ１０１からの命令に従って、画像を表示する表示装置である。ディスプレイ１０６は、正面カメラ１０４や背面カメラ１０５により撮像されている画像をリアルタイムに表示することができる。ディスプレイ１０６としては、例えば、液晶ディスプレイを用いることができる。

スピーカ１０７は、プロセッサ１０１から音声データを取得し、所定の信号処理を行って音声データに対応する音声を再生する。
タッチパネル１０８は、ディスプレイ１０６に重ねて設けられ、作業者Ｕ１によるタッチ操作を受け付ける。タッチパネル１０８は、タッチ操作された位置を示す情報をプロセッサ１０１に出力する。

マイク１０９は、作業者Ｕ１が発話した音声などの入力を受け付け、所定の信号処理を行うことで音声データを生成し、プロセッサ１０１に出力する。
媒体リーダ１１０は、記録媒体２２に記憶されたデータを読み取り、また、記録媒体２２にデータを格納する。記録媒体２２には、例えば、スマート端末１００に実行させるプログラムを記録することもできる。記録媒体２２としては、例えば、半導体メモリを使用できる。媒体リーダ１１０は、例えば、プロセッサ１０１からの命令に従って、記録媒体２２から読み取ったプログラムやデータをＲＡＭ１０２またはフラッシュメモリ１０３に格納する。

通信インタフェース１１１は、アクセスポイント２１を介してストリーミングサーバ２００を含む他の装置と通信を行う。第２の実施の形態の例では、通信インタフェース１１１として無線通信インタフェースを想定するが、有線通信インタフェースでもよい。

なお、正面カメラ１０４および背面カメラ１０５それぞれは、第１の実施の形態の撮像装置２の一例である。ディスプレイ１０６および通信インタフェース１１１それぞれは、第１の実施の形態の出力装置３の一例である。

図４は、スマート端末の機能例を示す図である。スマート端末１００は、画像記憶部１２０、ＡＲ情報記憶部１３０、画像受信部１４１、マーカー検出部１４２、ＡＲ情報管理部１４３、変形率計算部１４４、枠生成部１４５、画像合成部１４６、表示制御部１４７、タッチ処理部１４８、枠比率計算部１４９、ＡＲ画像生成部１５０および通信制御部１５１を有する。

画像記憶部１２０およびＡＲ情報記憶部１３０は、ＲＡＭ１０２またはフラッシュメモリ１０３に確保された記憶領域として実現される。画像受信部１４１、マーカー検出部１４２、ＡＲ情報管理部１４３、変形率計算部１４４、枠生成部１４５、画像合成部１４６、表示制御部１４７、タッチ処理部１４８、枠比率計算部１４９、ＡＲ画像生成部１５０および通信制御部１５１は、ＲＡＭ１０２に記憶されたプログラムをプロセッサ１０１が実行することで実現される。

画像記憶部１２０は、正面カメラ１０４または背面カメラ１０５により撮像された画像を記憶する。
ＡＲ情報記憶部１３０は、ＡＲ情報を記憶する。ＡＲ情報は、作業者Ｕ１が行う作業の作業ＩＤ（IDentifier）、作業時に読み取るＡＲマーカーのマーカーＩＤ、当該作業の対象となる機器情報を含む。機器情報は、情報機器の輪郭形状やサイズなどの情報を含む。また、機器情報は、作業者Ｕ１に対する支援画像を配置するモジュール位置（情報機器に対して支援画像を配置する位置）の情報を含む。例えば、ある作業を識別する作業ＩＤに対して、ＡＲマーカーのマーカーＩＤが予め割り振られている。また、ＡＲ情報記憶部１３０は、ＡＲマーカーの基準サイズ（基準サイズから機器情報における機器のサイズに対するＡＲマーカーのサイズ比率を把握可能である）や基準形状の情報もマーカーＩＤ毎に予め記憶している。

画像受信部１４１は、背面カメラ１０５により出力された画像（カメラ画像と称する）を受信し、マーカー検出部１４２および画像合成部１４６に提供する。画像受信部１４１は、正面カメラ１０４により出力された画像を受信し、マーカー検出部１４２および画像合成部１４６に提供してもよい。ここで、作業者Ｕ１は、保守作業を開始する直前に、これから行う作業の作業ＩＤをスマート端末１００に入力する。すると、背面カメラ１０５は、撮像対象範囲の撮像を開始し、カメラ画像の出力を開始する。

マーカー検出部１４２は、画像受信部１４１から取得したカメラ画像から、ＡＲマーカーの画像（マーカー画像と称する）を検出する。マーカー画像の検出には、既存のパターン認識の方法を用いることができる。マーカー検出部１４２は、マーカー画像を検出すると、ＡＲ情報管理部１４３を介して、マーカー画像を検出したことを示すマーカー検出フラグ“ｔｒｕｅ”を、ＡＲ情報記憶部１３０に格納する。また、マーカー検出部１４２は、カメラ画像を画像記憶部１２０に格納する。

ＡＲ情報管理部１４３は、ＡＲ情報記憶部１３０に対するデータの書き込みやＡＲ情報記憶部１３０からのデータの読み出しを行う。また、ＡＲ情報管理部１４３は、各部の間での、データの受け渡しを管理する。

変形率計算部１４４は、画像記憶部１２０に記憶されたカメラ画像に含まれるマーカー画像と、当該マーカー画像の基準のサイズ／形状とを比較することで、カメラ画像に含まれるマーカー画像の変形率を計算する。変形率計算部１４４は、計算した変形率を、ＡＲ情報管理部１４３を介して、ＡＲ情報記憶部１３０に記録する。

枠生成部１４５は、ＡＲ情報管理部１４３を介して、作業ＩＤ、および、検出されたマーカーＩＤに対応する機器情報を読み出し、作業対象機器の形状に合った枠画像を生成して、枠画像の表示位置を示す座標（枠画像座標）を計算する。枠画像の座標は、検出されたマーカー画像の基準点を原点とした座標（例えば、枠画像の特定の頂点を原点とする）によって表わされる。また、座標は、ピクセル値によって表わされる。枠画像は、ディスプレイ１０６上の任意の位置に表示させることができる。例えば、枠生成部１４５は、ディスプレイ１０６の表示領域の中央に表示するように枠画像座標を計算する。

枠生成部１４５は、計算した枠画像座標をＡＲ情報管理部１４３を介して、ＡＲ情報記憶部１３０に格納する。また、枠生成部１４５は、枠画像を生成したことを示す枠生成フラグ“ｔｒｕｅ”を、ＡＲ情報管理部１４３を介してＡＲ情報記憶部１３０に格納する。更に、枠生成部１４５は、生成した枠画像を画像合成部１４６に提供する。

画像合成部１４６は、画像受信部１４１から取得したカメラ画像に、枠生成部１４５によって生成された枠画像を合成する（カメラ画像を背景として枠画像をカメラ画像に重畳する）。画像合成部１４６は、ＡＲ情報記憶部１３０に格納された枠画像座標を基に、枠画像の配置位置を決定する（枠画像の配置は枠画像座標に固定される）。

画像合成部１４６は、画像受信部１４１から取得したカメラ画像に、ＡＲ画像生成部１５０によって生成されたＡＲ画像を合成することもある（後述するＡＲ画像生成フラグが“ｔｒｕｅ”の場合）。この場合、画像合成部１４６は、ＡＲ情報記憶部１３０に格納されたＡＲ表示座標を基に、ＡＲ画像の配置位置を決定する。ＡＲ表示座標は、後述の枠比率計算部１４９によって算出される。

表示制御部１４７は、画像合成部１４６により生成された画像を取得し、ディスプレイ１０６に出力する。すると、ディスプレイ１０６は、表示制御部１４７により出力された画像を表示する。

タッチ処理部１４８は、作業者Ｕ１によるタッチパネル１０８に対するタッチ操作を受け付ける。例えば、作業者Ｕ１は、ディスプレイ１０６に表示されたボタンなどをタッチできる。タッチ処理部１４８は、タッチ位置に対応するボタンに応じた入力を受け付ける。例えば、作業者Ｕ１は、背面カメラと作業対象機器との位置関係を調整して、ディスプレイ１０６に表示された枠画像に、作業対象機器の画像（作業対象機器画像）の縁を合わせる。作業者Ｕ１は、一致を確認すると、一致したことを入力するためのボタン（例えば、「ＡＲ生成」などの文字列が付されたボタン）をタッチする。すると、タッチ処理部１４８は、当該タッチ操作に応じて、枠画像と、作業対象機器画像の縁とが一致していることを、ＡＲ情報管理部１４３を介して枠比率計算部１４９に通知する。

枠比率計算部１４９は、タッチ処理部１４８からの通知を受け付けると、枠画像座標と当該通知のタイミングにおける、マーカー座標とＡＲマーカーの変形率と、を取得する。枠比率計算部１４９は、取得した枠画像座標とマーカー座標とＡＲマーカーの変形率とに基づいて、ＡＲ画像を表示させる座標（ＡＲ表示座標）を計算する。ＡＲ表示座標は、検出されたマーカー画像の基準点を原点とした座標（例えば、枠画像の特定の頂点を原点とする）によって表わされる。また、座標は、ピクセル値によって表わされる。

ここで、ＡＲ画像には、作業者Ｕ１の作業を支援するための支援画像と、カメラ画像のうち、作業対象機器画像以外の領域をマスクするためのマスク画像（後述するように、四角形画像の組み合わせ）が含まれる。

ＡＲ表示座標を計算するために、まず、枠比率計算部１４９は、取得した枠画像座標とマーカー座標とＡＲマーカーの変形率とから、マーカー画像と枠画像との位置関係を取得する。そして、枠比率計算部１４９は、作業対象機器画像に対して支援画像を配置する位置（作業対象機器画像を基準とした位置）を機器情報から得る。枠比率計算部１４９は、マーカー画像と枠画像との位置関係から、支援画像を配置する位置の、マーカー画像を基準とした位置（支援画像のＡＲ表示座標）を計算し、ＡＲ情報管理部１４３を介してＡＲ情報記憶部１３０に格納する。また、枠比率計算部１４９は、マーカー画像と枠画像との位置関係を基に、カメラ画像のうち、作業対象機器画像以外の領域を特定し、当該領域の情報（マスク画像のＡＲ表示座標）を、ＡＲ情報管理部１４３を介してＡＲ情報記憶部１３０に格納する。

ＡＲ画像生成部１５０は、ＡＲ情報記憶部１３０に記憶されたＡＲ形状情報、テキスト情報、マーカー変形率およびＡＲ表示座標に基づいて、ＡＲ画像（支援画像およびマスク画像を含む）を生成し、画像合成部１４６に提供する。ＡＲ画像生成部１５０は、ＡＲ画像が生成されたことを示すＡＲ画像生成フラグ“ｔｒｕｅ”を、ＡＲ情報記憶部１３０に格納する。

通信制御部１５１は、画像合成部１４６によってカメラ画像とＡＲ画像（マスク画像を含む）とを合成することで生成された合成画像を、画像合成部１４６から取得する。通信制御部１５１は、ストリーミングサーバ２００を宛先として、当該合成画像を通信インタフェース１１１から送信する。

図５は、マーカー画像に対する座標系の例を示す図である。図５では、ディスプレイ１０６の表示領域において、マーカー画像Ｍ１０が表示されている場合を例示している。このとき、マーカー画像Ｍ１０を基準として、ＡＲ表示座標が計算されることになる。スマート端末１００を動かすことによるマーカー画像Ｍ１０の画面内での移動や変形に応じて、ＡＲ画像の表示位置や形状を変更するためである。ここでは、マーカー画像Ｍ１０のディスプレイ１０６の表示領域に向かって左上の頂点を原点Ｏとする。また、原点Ｏから当該表示領域の長辺と平行な軸をＸ軸とする（図５の左側から右側へ向かう方向をＸ軸の正方向とする）。更に、原点Ｏから当該表示領域の短辺と平行な軸をＹ軸とする（図５の下側から上側へ向かう方向をＹ軸の正方向とする）。ディスプレイ１０６の表示領域における枠画像の配置位置も、枠画像の特定の頂点のＸＹ座標により指定される。例えば、枠画像が四角形であれば、枠画像を表示した時にディスプレイ１０６の表示領域に向かって左上となる頂点のＸＹ座標を、枠画像の配置位置（枠画像座標）として指定する。

図６は、ＡＲ管理テーブルの例を示す図である。ＡＲ管理テーブル１３１は、ＡＲ情報記憶部１３０に格納される。ＡＲ管理テーブル１３１は、項番、作業ＩＤ、マーカーＩＤ、枠画像情報、枠画像座標、ＡＲ表示座標、ＡＲ形状情報、テキスト情報、画像情報および画像送信先情報の項目を含む。

項番の項目には、レコードを識別する番号が登録される。作業ＩＤの項目には、作業ＩＤが登録される。マーカーＩＤの項目には、マーカーＩＤが登録される。枠画像情報の項目には、表示させる枠画像の元となる情報機器毎の枠画像情報が登録される。枠画像座標の項目には、枠比率計算部１４９によって計算された枠画像座標が登録される。ＡＲ表示座標の項目には、枠比率計算部１４９によって計算されたＡＲ表示座標が登録される。ＡＲ形状情報の項目には、ＡＲ画像として表示するスタンプなどの形状の情報が登録される。テキスト情報の項目には、ＡＲ画像とともに表示させるテキストの情報が登録される。画像情報の項目には、予め用意されているＡＲ画像（例えば、ケーブルの種類などを表わすＡＲ画像）が登録される。画像送信先情報の項目には、カメラ画像にＡＲ画像が合成された合成画像の送信先（例えば、ストリーミングサーバ２００）のＩＰ（Internet Protocol）アドレスが登録される。何れの項目も未設定である場合には“−”（設定なし）となる。

例えば、ＡＲ管理テーブル１３１には、項番が“１”、作業ＩＤが“１”、マーカーＩＤが“１”、枠画像情報が“装置Ａ画像１．ｐｎｇ”、枠画像座標が“１００，２００”、ＡＲ表示座標が“１０，２０”、ＡＲ形状情報が“スタンプＸ１”、テキスト情報が“取り外し”、画像情報が設定なし“−”、画像送信先情報が“１００．１００．１００．１”という情報が登録される。

これは、作業ＩＤ“１”、マーカーＩＤ“１”に対して、“装置Ａ画像１．ｐｎｇ”のファイル名の枠画像情報が登録されていることを示す。また、枠画像の枠画像座標が（Ｘ，Ｙ）＝（１００，２００）であること、ＡＲ表示座標が（Ｘ，Ｙ）＝（１０，２０）であることを示す。更に、支援画像として表示させるＡＲの形状が“スタンプＸ１”というスタンプ形状であり、スタンプとともに表示するテキスト内容が“取り外し”であることを示す。例えば、テキスト内容は、スタンプに隣接する所定の領域に表示される。また、当該レコードによれば、予め設定された画像情報がないことを示す（一方、例えば、項番“３”のレコードではファイル名“画像１０．ｊｐｇ”が設定されており、当該レコードに関しては予め用意されたＡＲ画像が存在している）。更に、合成画像の送信先のＩＰアドレスが“１００．１００．１００．３”であることを示す。

なお、前述のように枠画像座標は枠画像の特定の頂点のＸＹ座標として指定される。ＡＲ表示座標は、スタンプなどの支援画像であれば、スタンプの中心点を配置するＸＹ座標として指定される。また、ＡＲ表示座標は、マスク画像であれば、枠画像と同様に、マスク画像として表示する四角形の特定の頂点のＸＹ座標として指定される。また、ＡＲ情報記憶部１３０は、ＡＲ形状情報毎に、情報機器の何れのモジュール位置（情報機器の所定の座標系における位置）に表示させるかという情報を予め記憶している。

図７は、制御テーブルの例を示す図である。制御テーブル１３２は、ＡＲ情報記憶部１３０に格納される。制御テーブル１３２は、解像度情報、物体形状枠生成フラグ、マーカー検出フラグ、ＡＲ画像生成フラグおよび作業終了フラグの項目を含む。

解像度情報の項目には、ディスプレイ１０６の解像度が登録される。物体形状枠生成フラグの項目には、枠画像を生成したか否かを示す物体形状枠生成フラグが登録される。物体形状枠生成フラグは、“ｔｒｕｅ”が生成済を示し、“ｆａｌｓｅ”が未生成を示す。マーカー検出フラグの項目には、ＡＲマーカーを検出したか否かを示すマーカー検出フラグが登録される。マーカー検出フラグは、“ｔｒｕｅ”が検出済を示し、“ｆａｌｓｅ”が未検出を示す。ＡＲ画像生成フラグの項目には、ＡＲ画像を生成したか否かを示すＡＲ画像生成フラグが登録される。ＡＲ画像生成フラグは、“ｔｒｕｅ”が生成済を示し、“ｆａｌｓｅ”が未生成を示す。作業終了フラグの項目には、作業者Ｕ１により作業終了の入力が行われたか否かを示す作業終了フラグが登録される。作業終了フラグは、“ｔｒｕｅ”が作業終了の入力ありを示し、“ｆａｌｓｅ”が作業終了の入力なしを示す。何れのフラグも初期値は“ｆａｌｓｅ”である。

例えば、制御テーブル１３２には、解像度情報が“６４０＊４８０”、物体形状枠生成フラグが“ｆａｌｓｅ”、マーカー検出フラグが“ｔｒｕｅ”、ＡＲ画像生成フラグが“ｆａｌｓｅ”、作業終了フラグが“ｆａｌｓｅ”という情報が登録される。これは、ディスプレイ１０６の解像度が、長辺６４０ピクセル×短辺４８０ピクセルであることを示す。また、枠画像が未生成であること、カメラ画像からマーカー画像を検出していること、ＡＲ画像が未生成であること、作業終了の入力がないことを示す。

図８は、作業支援の例を示すフローチャートである。以下、図８に示す処理をステップ番号に沿って説明する。作業者Ｕ１は、保守作業を開始する際に、スマート端末１００に作業ＩＤを入力する。作業者Ｕ１は、背面カメラ１０５を作業対象機器へ向ける。

（Ｓ１１）背面カメラ１０５は、作業対象機器を含む領域の撮像を開始し、カメラ画像の出力を開始する。画像受信部１４１は、背面カメラ１０５が出力するカメラ画像を受信する。表示制御部１４７は、出力されたカメラ画像を、画像受信部１４１および画像合成部１４６を介して取得し、ディスプレイ１０６に表示させる。

（Ｓ１２）マーカー検出部１４２は、画像受信部１４１からカメラ画像を取得し、ＡＲマーカーに対応するマーカー画像を、カメラ画像から検出する。マーカー検出部１４２は、取得したカメラ画像を画像記憶部１２０に格納する。マーカー検出部１４２は、ＡＲ情報管理部１４３を介して、制御テーブル１３２のマーカー検出フラグを“ｔｒｕｅ”に設定する。マーカー検出部１４２は、マーカー画像から当該マーカー画像に対応するマーカーＩＤを取得する。なお、マーカー検出部１４２は、カメラ画像の中からマーカー画像を検出していない場合は、制御テーブル１３２のマーカー検出フラグを“ｆａｌｓｅ”に設定する。

（Ｓ１３）枠生成部１４５は、物体形状枠生成処理を実行する。具体的には、枠生成部１４５は、作業対象機器の機器情報（形状やサイズなど）、および、ＡＲマーカーの情報（基準となる形状やサイズに対するマーカー画像の変形率）に応じた枠画像を生成する。作業対象機器の機器情報やＡＲマーカーの情報は、作業ＩＤおよびマーカーＩＤの組み合わせに対応づけてＡＲ情報記憶部１３０に予め格納されている。処理の詳細は後述される。

（Ｓ１４）画像合成部１４６は、枠生成部１４５により生成された枠画像を、カメラ画像に合成した枠合成画像を生成する。表示制御部１４７は、画像合成により生成された枠合成画像をディスプレイ１０６により表示させる。このとき、表示制御部１４７は、枠画像の表示位置を、ＡＲ管理テーブル１３１に登録された枠画像座標により決定する。作業者Ｕ１は、スマート端末１００を動かして背面カメラ１０５と作業対象機器との位置関係を調整することで、ディスプレイ１０６に表示された枠画像に、作業対象機器画像の縁を合わせる。作業者Ｕ１は、作業対象機器画像の縁を枠画像に合わせた後、タッチパネル１０８をタッチ操作することで、ＡＲ生成開始の入力を行う。

（Ｓ１５）タッチ処理部１４８は、ＡＲ生成開始の入力を受け付け、ＡＲ情報管理部１４３を介して当該入力を受け付けたことを、枠比率計算部１４９に通知する。
（Ｓ１６）枠比率計算部１４９は、物体形状枠比率計算処理を実行する。具体的には、枠比率計算部１４９は、マーカー画像と作業対象機器画像との位置関係を算出する。枠比率計算部１４９は、作業対象機器を基準としたモジュール位置の情報と、算出したマーカー画像と作業対象機器画像との位置関係とを基に、現在のカメラ画像におけるＡＲ表示座標を決定する。処理の詳細は後述される。

（Ｓ１７）ＡＲ画像生成部１５０は、ＡＲ情報記憶部１３０に記憶されたＡＲ管理テーブル１３１に基づいてＡＲ画像（支援画像およびマスク画像を含む）を生成する。
（Ｓ１８）画像合成部１４６は、ＡＲ画像生成部１５０により生成されたＡＲ画像を、画像受信部１４１から取得したカメラ画像に合成して合成画像を生成する。画像合成部１４６は、ＡＲ画像の配置位置として、枠比率計算部１４９により計算されたＡＲ表示座標を用いる。表示制御部１４７は、画像合成部１４６により生成された合成画像をディスプレイ１０６に出力する。ディスプレイ１０６は、合成画像を表示する。

（Ｓ１９）変形率計算部１４４は、画像記憶部１２０に格納されるカメラ画像に基づいて、マーカー画像に変化があるか否かを判定する。変化がある場合、処理をステップＳ２０に進める。変化がない場合、処理をステップＳ２１に進める。例えば、スマート端末１００の作業対象機器に対する配置が作業者Ｕ１によって変更されると、作業対象機器の撮像方向も変化し、それに伴って、カメラ画像に含まれるマーカー画像（マーカー画像の形状）も変化し得る。

（Ｓ２０）変形率計算部１４４は、マーカー画像の変形率を求め、ＡＲ情報管理部１４３を介してＡＲ画像生成部１５０に通知する。ＡＲ画像生成部１５０は、マーカー画像の変形率に基づいてＡＲ画像の形状を補正する。画像合成部１４６は、カメラ画像に対して補正後のＡＲ画像を合成した合成画像を生成する。表示制御部１４７は、画像合成部１４６により生成された合成画像をディスプレイ１０６に表示させる。

（Ｓ２１）タッチ処理部１４８は、作業終了の入力があったか否かを判定する。作業終了の入力があった場合、タッチ処理部１４８は、制御テーブル１３２の作業終了フラグを“ｆａｌｓｅ”から“ｔｒｕｅ”に変更し、作業支援の処理を終了する。作業終了の入力がない場合、処理をステップＳ１９に進める。

図９は、物体形状枠生成の例を示すフローチャートである。以下、図９に示す処理をステップ番号に沿って説明する。図９に示す手順は、図８のステップＳ１３に相当する。
（Ｓ３１）枠生成部１４５は、作業ＩＤ、作業対象機器の物体形状情報、ディスプレイ１０６の解像度情報を、ＡＲ情報管理部１４３から取得する。前述のように、作業ＩＤは、作業者Ｕ１により作業開始前にスマート端末１００に入力される。作業対象機器の物体形状情報は、作業対象情報の機器情報に含まれる情報であり、作業対象機器の形状やサイズ（縦横比など）の情報を含む。例えば、作業対象機器の物体形状情報は、ＡＲ管理テーブル１３１の枠画像情報に登録された情報機器の画像から把握可能である。ディスプレイ１０６の解像度情報は、制御テーブル１３２に登録されている解像度情報の項目の設定値である。

（Ｓ３２）枠生成部１４５は、物体形状情報および解像度情報を基に、枠画像座標を計算する。前述のように、例えば、枠生成部１４５は、ディスプレイ１０６の中央部分に枠画像が表示されるように、枠画像座標を計算する。

（Ｓ３３）枠生成部１４５は、作業対象機器の縦横比を基に、作業対象機器の輪郭に合った枠画像を生成する。枠画像の縦横比は、作業対象機器の輪郭の縦横比と同じになる。
（Ｓ３４）枠生成部１４５は、生成した枠画像をＡＲ管理テーブル１３１の枠画像情報の項目に設定し、画像合成部１４６に提供する。

（Ｓ３５）枠生成部１４５は、生成した枠画像座標を、ＡＲ情報記憶部１３０に格納する。具体的には、枠生成部１４５は、生成した枠画像座標を、ＡＲ管理テーブル１３１の枠画像座標の項目に設定する。

図１０は、物体形状枠比率計算の例を示すフローチャートである。以下、図１０に示す処理をステップ番号に沿って説明する。図１０に示す手順は、図８のステップＳ１６に相当する。

（Ｓ４１）枠比率計算部１４９は、作業対象機器の枠画像座標、マーカー画像の変形率、および、マーカー座標を、ＡＲ情報管理部１４３から取得する。
（Ｓ４２）枠比率計算部１４９は、枠とマーカー画像の基準点との間の距離を計算する。これにより、枠比率計算部１４９は、枠画像に対するマーカー画像の相対的な位置を取得できる。また、枠画像は作業対象機器の縁に、マーカー画像は作業対象機器のＡＲマーカーに、それぞれ対応しており、枠画像に対するマーカー画像の相対的な位置は、作業対象機器に対するＡＲマーカーの相対的な位置に相当していると考えることができる。こうして、枠比率計算部１４９は、枠画像とマーカー画像との位置関係（すなわち、作業対象機器とＡＲマーカーとの位置関係）を取得する。

（Ｓ４３）枠比率計算部１４９は、ステップＳ４２で計算した距離と、マーカー画像の変形率とを基に、ＡＲ画像の表示座標（ＡＲ表示座標）を計算する。例えば、モジュール交換や取り外しの支援画像をＡＲ画像として表示するために、枠比率計算部１４９は、作業対象機器を基準とした該当のモジュール位置の情報を機器情報から得られる。枠比率計算部１４９は、作業対象機器を基準とした当該モジュール位置を、マーカー画像の基準点を原点としたＸＹ座標系の座標に変換する。また、例えば、カメラ画像における作業対象機器画像以外の領域をマスクするマスク画像をＡＲ画像として表示するために、枠比率計算部１４９は、枠外の領域を指定するＸＹ座標系の座標を、マーカー画像の基準点に対するＡＲ表示座標として求める。マスク画像のＡＲ表示画像を求める処理の詳細は後述される。

（Ｓ４４）枠比率計算部１４９は、計算したＡＲ表示座標を、ＡＲ管理テーブル１３１のＡＲ表示座標の項目に登録する。枠比率計算部１４９は、ある作業ＩＤとマーカーＩＤとの組に対して、ＡＲ表示座標を複数計算することもある（例えば、ＡＲ画像として、支援画像とマスク画像との両方を表示する場合）。その場合、枠比率計算部１４９は、ＡＲ管理テーブル１３１に、当該作業ＩＤとマーカーＩＤとの組に対応するレコードを複数登録する。

図１１は、ＡＲ画像生成の例を示すフローチャートである。以下、図１１に示す処理をステップ番号に沿って説明する。図１１に示す手順は、図８のステップＳ１７に相当する。

（Ｓ５１）ＡＲ画像生成部１５０は、ＡＲ表示座標、ＡＲ形状情報、ＡＲマーカー変形率およびテキスト情報を、ＡＲ情報管理部１４３から取得する。ただし、作業ＩＤとマーカーＩＤとの組に対して、ＡＲ管理テーブル１３１にＡＲ形状情報やテキスト情報が登録されていないこともある。その場合、ＡＲ画像生成部１５０は、ステップＳ５１においてＡＲ形状情報やテキスト情報を取得しない。

（Ｓ５２）ＡＲ画像生成部１５０は、ＡＲ情報記憶部１３０に格納されたＡＲ管理テーブル１３１から画像情報を取得する。ただし、作業ＩＤとマーカーＩＤとの組に対して、ＡＲ管理テーブル１３１に画像情報が登録されていない場合は、ステップＳ５２をスキップしてステップＳ５３に進めてよい。

（Ｓ５３）ＡＲ画像生成部１５０は、ＡＲ表示座標、ＡＲ形状情報、テキスト情報および画像情報から、ＡＲ画像を生成する。ＡＲ画像生成部１５０は、ＡＲ画像として、支援画像やマスク画像を生成する。

（Ｓ５４）ＡＲ画像生成部１５０は、ＡＲマーカー変形率を基にＡＲ画像を変形する。
（Ｓ５５）ＡＲ画像生成部１５０は、生成した変形後のＡＲ画像を画像合成部１４６に提供する。ＡＲ画像生成部１５０は、制御テーブル１３２のＡＲ画像生成フラグを“ｔｒｕｅ”に設定する。なお、ＡＲ画像生成部１５０は、ＡＲ画像の生成を行わなくなると、ＡＲ生成フラグを“ｆａｌｓｅ”に設定する。

次に、通信制御部１５１による画像送信処理の手順を説明する。以下に示す手順は、図８の手順と平行して実行される。
図１２は、画像送信処理の例を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。

（Ｓ６１）通信制御部１５１は、画像合成部１４６から合成画像を取得する。
（Ｓ６２）通信制御部１５１は、ＡＲ画像を生成済であるか否かを判定する。生成済である場合、処理をステップＳ６３に進める。生成済でない場合、処理をステップＳ６２に進める（生成済と判定するまで待機する）。例えば、通信制御部１５１は、ＡＲ情報記憶部１３０に記憶された制御テーブル１３２のＡＲ画像生成フラグを確認することで、ステップＳ６２の判定を行える。ＡＲ画像生成フラグが“ｔｒｕｅ”の場合、ＡＲ画像を生成済であると判定する。ＡＲ画像生成フラグが“ｆａｌｓｅ”の場合、ＡＲ画像を生成済でないと判定する。

（Ｓ６３）通信制御部１５１は、ＡＲマーカーが検出されているか否かを判定する。検出されている場合、処理をステップＳ６４に進める。検出されていない場合、処理をステップＳ６３に進める（検出されていると判定するまで待機する）。例えば、通信制御部１５１は、制御テーブル１３２のマーカー検出フラグを確認することで、ステップＳ６３の判定を行える。マーカー検出フラグが“ｔｒｕｅ”の場合、ＡＲマーカーが検出されていると判定する。マーカー検出フラグが“ｆａｌｓｅ”の場合、ＡＲマーカーが検出されていないと判定する。

（Ｓ６４）通信制御部１５１は、現作業ＩＤおよびマーカーＩＤに対し、ＡＲ管理テーブル１３１の画像送信先情報の設定があるか否かを判定する。設定がある場合、処理をステップＳ６５に進める。設定がない場合、処理をステップＳ６４に進める（設定されるまで待機する）。例えば、表示制御部１４７は、画像送信先情報の設定がない場合、作業者Ｕ１に画像送信先情報の設定を促すメッセージや設定用インタフェースなどをディスプレイ１０６に表示させてもよい。

（Ｓ６５）通信制御部１５１は、画像送信先情報で指定される画像送信先（例えば、ストリーミングサーバ２００）への合成画像の送信を開始する。
（Ｓ６６）通信制御部１５１は、制御テーブル１３２に登録されたＡＲマーカー検出フラグをＡＲ情報管理部１４３から取得し、監視する。

（Ｓ６７）通信制御部１５１は、ＡＲマーカー検出フラグに基づいて、ＡＲマーカーが検出されているか否かを判定する。検出されている場合、処理をステップＳ６８に進める。検出されていない場合、処理をステップＳ６９に進める。

（Ｓ６８）通信制御部１５１は、作業終了の入力があったか否かを判定する。作業終了の入力があった場合、処理をステップＳ６９に進める。作業終了の入力がない場合、処理をステップＳ６７に進める。例えば、通信制御部１５１は、制御テーブル１３２の作業終了フラグを確認することで、ステップＳ６８の判定を行える。作業終了フラグが“ｔｒｕｅ”の場合、作業終了の入力があったと判定する。作業終了フラグが“ｆａｌｓｅ”の場合、作業終了の入力がないと判定する。

（Ｓ６９）通信制御部１５１は、画像送信を停止する。
通信制御部１５１は、上記の画像送信処理の手順を、画像合成部１４６から合成画像を取得するたびに繰り返し実行する。このとき、通信制御部１５１は、ステップＳ６２，Ｓ６３で例示したように、ＡＲ画像の生成状況やＡＲマーカー（マーカー画像）の検出状況に応じて画像送信を開始するか否かを判定する。特に、ＡＲ画像が生成されていない場合には、画像送信を停止する。これにより、マスク画像を含まないカメラ画像がストリーミングサーバ２００に送信されることを防げる。このため、外部の支援者Ｕ２が、作業対象機器以外の情報機器を見ることを防げ、セキュリティを高めることができる。

図１３は、スマート端末の表示例（その１）を示す図である。例えば、作業者Ｕ１がスマート端末１００を用いて、情報機器１０ａの保守を行う場合を考える。情報機器１０ａの横には、情報機器１０ｂ，１０ｃが並べて設置されている。保守の作業対象である情報機器１０ａの正面の一部に、ＡＲマーカー１１ａが付与されている。

作業者Ｕ１は、スマート端末１００に保守作業の作業ＩＤを入力し、背面カメラ１０５を、情報機器１０ａに向ける。すると、背面カメラ１０５は撮像を開始する。スマート端末１００は、背面カメラ１０５により取得したカメラ画像をディスプレイ１０６に表示させる。ここで、背面カメラ１０５の視野には、情報機器１０ａ，１０ｂ，１０ｃが含まれる。このため、ディスプレイ１０６に表示されるカメラ画像には、情報機器１０ａ，１０ｂ，１０ｃそれぞれに対応する機器画像Ｐ１１，Ｐ１２，Ｐ１３が含まれる。

また、スマート端末１００は、ディスプレイ１０６に表示されるカメラ画像に対し、ボタンＰｔ１，Ｐｔ２を重ねて表示する。ボタンＰｔ１は、保守作業の終了をスマート端末１００に入力するための作業終了ボタンである。ボタンＰｔ２は、保守作業の支援画像およびマスク画像を含むＡＲ画像の生成開始をスマート端末１００に入力するためのＡＲ生成ボタンである。

スマート端末１００は、カメラ画像から、ＡＲマーカー１１ａに対応するマーカー画像Ｍ１１を検出する。すると、スマート端末１００は、マーカー画像Ｍ１１によって示されるマーカーＩＤを取得し、作業ＩＤとマーカーＩＤとの組に対応する作業対象機器の枠画像Ｆｒ１０を生成する。スマート端末１００は、ディスプレイ１０６に表示されるカメラ画像に対し、枠画像Ｆｒ１０を重ねて表示する。例えば、スマート端末１００は、ディスプレイ１０６の表示領域の中央部に、枠画像Ｆｒ１０を表示する。スマート端末１００は、ディスプレイ１０６の表示領域に対する枠画像Ｆｒ１０の配置を固定する。

この時点では、枠画像Ｆｒ１０は、機器画像Ｐ１１の縁に合っていない。
図１４は、スマート端末の表示例（その２）を示す図である。作業者Ｕ１は、スマート端末１００の位置を変更して、機器画像Ｐ１１の縁を、枠画像Ｆｒ１０に合わせる。図１４では、機器画像Ｐ１１の縁が、枠画像Ｆｒ１０に合わさった状態を例示している。作業者Ｕ１は、機器画像Ｐ１１の縁を、枠画像Ｆｒ１０に合わせると、ＡＲ生成ボタンＰｔ２を押下操作する。すると、スマート端末１００は、マーカー画像Ｍ１１と枠画像Ｆｒ１０との位置関係を算出する。具体的には、スマート端末１００は、マーカー画像Ｍ１１の基準点と、枠画像Ｆｒ１０の各辺との距離（ピクセル値で表わされる）を算出する。これにより、スマート端末１００は、マーカー画像Ｍ１１が機器画像Ｐ１１のどの位置に存在しているかを把握できる。

また、スマート端末１００は、機器画像Ｐ１１以外の領域をマスクするマスク画像の生成を行う。
図１５は、マスク画像の生成例（その１）を示す図である。図１５では、ディスプレイ１０６の表示領域における点Ｃ１０，Ｃ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４が示されている。点Ｃ１０は、マーカー画像Ｍ１１を基準としたＸＹ座標系の原点（０，０）である。点Ｃ１１は、点Ｃ１０からＹ軸の正の方向に延ばした直線と、枠画像Ｆｒ１０の一辺とが交わる点である。点Ｃ１２は、点Ｃ１０からＸ軸の負の方向に延ばした直線と、枠画像Ｆｒ１０の一辺とが交わる点である。点Ｃ１３は、点Ｃ１０からＸ軸の正の方向に延ばした直線と、枠画像Ｆｒ１０の一辺とが交わる点である。点Ｃ２１は、点Ｃ１０からＹ軸の正の方向に延ばした直線と、ディスプレイ１０６の縁の一辺とが交わる点である。点Ｃ２２は、点Ｃ１０からＸ軸の負の方向に延ばした直線と、ディスプレイ１０６の縁の一辺とが交わる点である。点Ｃ２３は、点Ｃ１０からＸ軸の正の方向に延ばした直線と、ディスプレイ１０６の一辺とが交わる点である。点Ｃ２４は、点Ｃ１０からＹ軸の負の方向に延ばした直線と、ディスプレイ１０６の縁の一辺とが交わる点である。

ＡＲ画像生成部１５０は、次の各点間の距離（ピクセル値）を得る。具体的には、点Ｃ１０，Ｃ２１間の距離は、αピクセルである。点Ｃ１０，Ｃ２２間の距離は、βピクセルである。点Ｃ１１，Ｃ２１間の距離はγピクセルである。点Ｃ１２，Ｃ２２間の距離は、δピクセルである。点Ｃ２２，Ｃ２３間の距離は、εピクセルである。点Ｃ２１，Ｃ２４間の距離は、ζピクセルである。

図１６は、マスク画像の生成例（その２）を示す図である。ＡＲ画像生成部１５０は、点Ｃ１０に対して、Ｘ≦０の領域を覆う、縦２ζピクセル、横εピクセルの長方形のマスク画像Ｐ２１を生成する。マスク画像Ｐ２１のＸ座標が最小である頂点の座標は、（−ε，ζ）、（−ε，−ζ）の２つである（図１６（Ａ））。

ＡＲ画像生成部１５０は、マスク画像Ｐ２１をＸ軸の負の方向に（β−δ）ピクセルだけ平行移動させる（図１６（Ｂ））。移動後、マスク画像Ｐ２１のＸ座標が最小である頂点の座標は、（−（ε＋β−δ），ζ）、（−（ε＋β−δ），−ζ）となる。

図１７は、マスク画像の生成例（その３）を示す図である。ＡＲ画像生成部１５０は、点Ｃ１０に対して、Ｙ≧０の領域を覆う、縦ζピクセル、横２εピクセルの長方形のマスク画像Ｐ２２を生成する。マスク画像Ｐ２２のＹ座標が最大である頂点の座標は、（−ε，ζ）、（ε，ζ）の２つである（図１７（Ａ））。

ＡＲ画像生成部１５０は、マスク画像Ｐ２２をＹ軸の正の方向に（α−γ）ピクセルだけ平行移動させる（図１７（Ｂ））。移動後、マスク画像Ｐ２２のＹ座標が最大である頂点の座標は、（−ε，ζ＋α−γ）、（ε，ζ＋α−γ）となる。

図１８は、マスク画像の生成例（その４）を示す図である。同様に、ＡＲ画像生成部１５０は、点Ｃ１０に対して、Ｘ≧０の領域を覆う縦２ζピクセル、横εピクセルの長方形のマスク画像Ｐ２３を生成し、マスク画像Ｐ２３をＸ軸の正の方向に平行移動させる。また、ＡＲ画像生成部１５０は、点Ｃ１０に対して、Ｙ≦０の領域を覆う縦ζピクセル、横２εピクセルの長方形のマスク画像Ｐ２４を生成し、マスク画像Ｐ２４をＹ軸の負の方向に平行移動させる。こうして、ＡＲ画像生成部１５０は、機器画像Ｐ１１以外の領域を覆うマスク画像Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４を生成する。ＡＲ画像生成部１５０は、マスク画像Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４を結合して、１つのマスク画像Ｐ２０としてもよい。なお、上記のように、ディスプレイ１０６の縦横方向のピクセル数に応じてマスク画像を生成する理由は、ＡＲ画像として有限のサイズをもつ画像を生成することが求められるためである。その際、ディスプレイ１０６の縦横方向のピクセル数よりも２〜３倍程度覆えば十分であると考えられるからである（前述のように、背面カメラ１０５の視野からＡＲマーカーがなくなり、ＡＲマーカーが検出されなくなれば、画像送信が停止されるため）。

図１９は、スマート端末の表示例（その３）を示す図である。図１９では、スマート端末１００によりカメラ画像に重ねてＡＲ画像が表示されている例を示している。例えば、ディスプレイ１０６に表示されているＡＲ画像には、支援画像Ｐｓ１，Ｐｓ２，Ｐｓ３が含まれる。支援画像Ｐｓ１は、作業者Ｕ１に注意を促すアイコンである。支援画像Ｐｓ２は、作業内容を指示する文字列（文字列の吹き出し表示）である。支援画像Ｐｓ３は、作業者Ｕ１に作業対象を指示する指示画像である。また、ディスプレイ１０６に表示されているＡＲ画像には、マスク画像Ｐ２０が含まれる。マスク画像Ｐ２０は、機器画像Ｐ１１以外の領域をマスクする。このため、情報機器１０ａとともに情報機器１０ｂ，１０ｃが背面カメラ１０５の視野に入っているとしても、ディスプレイ１０６には、情報機器１０ａに対応する機器画像Ｐ１１のみが表示され、それ以外の領域はマスク画像Ｐ２０によって隠される。すなわち、作業対象外である情報機器１０ｂ，１０ｃの機器画像Ｐ１２，Ｐ１３はマスク画像Ｐ２０によって隠される。

図２０は、支援端末の表示例を示す図である。第２の実施の形態の例のように、ネットワーク機器などの保守現場では、ＡＲによる作業支援のため、カメラを使用して作業対象機器の撮影を行い、撮影した画像に重畳データを表示させたり、遠地の後方支援者に画像や動画を送信したりすることがある。

しかし、顧客のサーバルームなどの保守作業の現場には、複数社の機器が入っている場合がある。社外の機器や、社内の機器であっても、作業対象外の機器を撮影し、当該機器の画像を配信してしまうことは、情報漏洩につながる可能性があり、セキュリティ上の問題がある。また、機器が密集している場合に、隣接している作業対象外の機器が意図せずに映り込んでしまう可能性がある。このため、作業対象機器の周囲の画像は配信されないようにすることが好ましい。

そこで、スマート端末１００は、マスク画像Ｐ２０が表示された状態の表示画像Ｇ１の画像情報をストリーミングサーバ２００に送信する。すると、ストリーミングサーバ２００は、支援端末３００に当該画像情報を配信する。支援端末３００は、配信された画像情報に基づいて、表示画像Ｇ２を表示する。表示画像Ｇ２も、表示画像Ｇ１と同様にマスク画像を含む。このため、支援者Ｕ２に、作業対象である情報機器１０ａ以外の機器画像を見せずに済む。こうして、保守作業の現場に設置された、作業対象機器以外の情報機器に関する情報漏洩を防げる。

ここで、ＡＲ技術のように、カメラ画像から検出されたマーカー画像に対する相対位置にＡＲ画像を表示する場合、第２の実施の形態のようにＡＲマーカーを情報機器の任意の位置に貼り付け可能であると、ＡＲ画像の表示位置の特定が難しい。マーカー画像に対する相対位置として、情報機器の特定のモジュールなどの位置を予め（例えば、保守作業前や情報機器の製造段階などで）指定しておくことができないからである。そこで、スマート端末１００は、カメラ画像内のマーカー画像と機器画像との位置関係を算出し、算出した位置関係と機器情報とに基づいて、マーカー画像に対する相対位置として、ＡＲ画像の表示位置を管理する。これにより、情報機器の任意の場所にＡＲマーカーを貼り付け可能としながら、マーカー画像に対する相対位置としてＡＲ画像の表示位置を特定でき、マーカー画像の変化に応じてＡＲ画像の表示位置や形状も変化させることができる。このため、例えば、スマート端末１００の背面カメラ１０５による撮像方向の変化に追随して、機器画像Ｐ１１以外の領域を適切にマスクすることができ、セキュリティ性をより高めることができる。

図２１は、撮像方向の変更例を示す図である。例えば、作業者Ｕ１は、スマート端末１００の背面カメラ１０５を、情報機器１０ｄに向けて作業を行っているとする（背面カメラ１０５の視野の向きを撮像方向Ｖ１とする）。このとき、背面カメラ１０５の視野には、情報機器１０ｄに付されたＡＲマーカー１１ｄが含まれている。

作業者Ｕ１は、スマート端末１００を持ちながら移動することで、情報機器１０ｄに対する背面カメラ１０５の撮像方向を変更させる。変更後の撮像方向を撮像方向Ｖ２とする。このとき、背面カメラ１０５の視野には、ＡＲマーカー１１ｄが含まれている。ＡＲマーカー１１ｄは、撮像方向Ｖ１のときと比べて変形して撮像されることになる。

図２２は、画像の変形例を示す図である。マーカー画像Ｍ１２は、撮像方向Ｖ１から見たときのＡＲマーカー１１ｄの画像である。マーカー画像Ｍ１２の４つの頂点をＡ，Ｂ，Ｃ，Ｄとする。頂点Ｂ，Ｄを結ぶ辺の長さを、ＢＤとする（図２２（Ａ））。マーカー画像Ｍ１２ａは、撮像方向Ｖ２から見たときのＡＲマーカー１１ｄの画像である。マーカー画像Ｍ１２ａの４つの頂点をａ，ｂ，ｃ，ｄとする。頂点ｂｄを結ぶ辺の長さを、ｂｄとする（図２２（Ａ））。

更に、マーカー画像Ｍ１２，Ｍ１２ａの中央を原点（０，０）とする（図２２（Ｂ））。図２２に向かって、左から右への向きを正方向とするｘ軸、下から上への向きを正方向とするｙ軸を考え、原点を基準とした座標（ｘ，ｙ）により各頂点を表わす。すると、頂点Ａの座標は、（−２，２）である。頂点Ｂの座標は、（２，２）である。頂点Ｃの座標は、（−２，−２）である。頂点Ｄの座標は、（２，−２）である。

また、頂点ａの座標は、ａ（−２，３）である。頂点ｂの座標は、（２，１）である。頂点ｃの座標は、（−２，−１）である。頂点ｄの座標は、（２，−３）である（図２２（Ｃ））。

この場合、マーカー画像Ｍ１２，Ｍ１２ａの頂点の座標に対して、頂点の変形率（ｘ軸変形率，ｙ軸変形率）を求めると、頂点Ａに対する頂点ａの変形率は、Ａａ（２／２，３／２）＝Ａａ（１，１．５）である。頂点Ｂに対する頂点ｂの変形率は、Ｂｂ（１，０．５）である。頂点Ｃに対する頂点ｃの変形率は、Ｃｃ（１，０．５）である。頂点Ｄに対する頂点ｄの変形率は、Ｄｄ（１，１．５）である。

図２３は、画像の変形例（続き）を示す図である。マーカー画像の大きさの変化（背面カメラ１０５とＡＲマーカー１１ｄとの距離の変化に相当）については、辺ＢＤに対する辺ｂｄの長さの比率を使用して把握される。辺ＢＤに対する辺ｂｄの比率は、２／３であるとする（図２３（Ａ））。

ここで、スマート端末１００は、撮像方向Ｖ１から情報機器１０ｄを撮像することで、情報機器１０ｄに対応する機器画像Ｐ１４に対し、マスク画像Ｐ２５を生成したとする。マスク画像Ｐ２５の四隅の頂点を頂点Ｅ，Ｆ，Ｇ，Ｈとする。また、マスク画像Ｐ２５の中央を原点（０，０）とする。すると、頂点Ｅの座標は、（−４，４）である。頂点Ｆの座標は、（４，４）である。頂点Ｇの座標は、（−４，−４）である。頂点Ｈの座標は、（４，−４）である。マーカー画像Ｍ１２とマスク画像Ｐ２５とは何れも四角形であり、スマート端末１００は、各頂点を対応づけることができる。具体的には、頂点Ａと頂点Ｅとを対応づける。頂点Ｂと頂点Ｆとを対応づける。頂点Ｃと頂点Ｇとを対応づける。頂点Ｄと頂点Ｈとを対応づける。すると、スマート端末１００は、図２２で例示した頂点Ａ，Ｂ，Ｃ，Ｄそれぞれの変形率を、頂点Ｅ，Ｆ，Ｇ，Ｈに適用することで、撮像方向Ｖ２から情報機器１０ｄを撮像して得られた機器画像Ｐ１４ａに対するマスク画像Ｐ２５ａを生成できる。

具体的には、マスク画像Ｐ２５ａの頂点Ｅ，Ｆ，Ｇ，Ｈそれぞれに対応する頂点を頂点ｅ，ｆ，ｇ，ｈとする。すると、スマート端末１００は、頂点Ｅの座標（−４，４）に、変形率Ａａ（１，１．５）を適用して、頂点ｅの座標（−４×１，４×１．５）＝（−４，６）を得る。頂点Ｆの座標（４，４）に、変形率Ｂｂ（１，０．５）を適用して、頂点ｆの座標（４，２）を得る。頂点Ｇの座標（−４，−４）に、変形率Ｃｃ（１，０．５）を適用して、頂点ｇの座標（−４，−２）を得る。頂点Ｈの座標（４，−４）に変形率Ｄｄ（１，１．５）を適用して、頂点ｈの座標（４，−６）を得る（図２３（Ｂ））。

更に、スマート端末１００は、マスク画像Ｐ２５の各辺の長さに対して、図２３（Ａ）で求めた辺ＢＤに対する辺ｂｄの比率２／３を乗じることで、マスク画像Ｐ２５ａの大きさを変形する。例えば、マスク画像Ｐ２５の頂点Ｆ，Ｈ間の長さが６である場合、マスク画像Ｐ２５ａの頂点ｆ，ｈ間の長さが４になるように変形する（図２３（Ｃ））。こうして、スマート端末１００は、背面カメラ１０５による撮像方向の変化に追随して、時系列に入力されるカメラ画像内のマーカー画像の変形に応じてマスク画像を変形させ、隠す対象の領域（機器画像Ｐ１４ａ以外の領域）を補正する。これにより、背面カメラ１０５による撮像方向が変更されても、機器画像Ｐ１４ａ以外の領域を適切にマスクでき、セキュリティ性を高められる。

ところで、第２の実施の形態の例では、作業者Ｕ１が、ディスプレイ１０６に表示された枠画像を、機器画像の縁に合わせるものとしたが、スマート端末１００が枠画像を機器画像の縁に合わせてもよい。例えば、次の方法が考えられる。

図２４は、情報機器の特徴点の例を示す図である。情報機器１０ｆは、ＡＲマーカー１１ｆに加えて、機器正面に特徴的な図形やパターンなどで表わされる特徴点１２ｆ，１３ｆ，１４ｆ，１５ｆが付与されている（図２４（Ａ））。

スマート端末１００は、例えば、情報機器１０ｆの機器情報として、情報機器１０ｆの形状やサイズなどの情報（枠画像Ｆｒ１１の基になる情報）に加え、情報機器１０における特徴点の配置に関する情報を、作業ＩＤおよびマーカーＩＤに対応づけて予め記憶する。すると、スマート端末１００は、枠画像Ｆｒ１１に対し、情報機器１０ｆにおける特徴点１２ｆ，１３ｆ，１４ｆ，１５ｆの位置を反映した、特徴点画像Ｍ２１，Ｍ２２，Ｍ２３，Ｍ２４を得ることができる（図２４（Ｂ））。スマート端末１００は、特徴点画像Ｍ２１，Ｍ２２，Ｍ２３，Ｍ２４を用いて、枠画像Ｆｒ１１を、情報機器１０ｆの機器画像の縁に合わせることもできる。具体的には、次の通りである。

図２５は、作業支援の他の例を示すフローチャートである。以下、図２５に示す処理をステップ番号に沿って説明する。なお、図２５の手順では、図８で例示した手順のうち、ステップＳ１３の次に、ステップＳ１４，Ｓ１５に代えて、ステップＳ１４ａを実行する点が異なる。そこで、以下では、ステップＳ１４ａを説明し、他のステップの説明を省略する。

（Ｓ１４ａ）枠生成部１４５は、ＡＲ情報記憶部１３０に記憶された機器情報に基づいて、ステップＳ１３で生成した枠画像に対して特徴点画像を配置し、マーカー画像の基準サイズに対する変形率を用いて枠画像および特徴点画像を変形させる。そして、枠生成部１４５は、変形後の特徴点画像が、カメラ画像に含まれる機器画像内の特徴点画像に一致させるよう、変形後の枠画像と特徴点画像とを移動させる。すると、枠画像が機器画像の縁に合わさる。そして、処理をステップＳ１６に進める。

図２６は、枠設定の例を示すフローチャートである。以下、図２６に示す処理をステップ番号に沿って説明する。図２６に示す手順は、図２５のステップＳ１４ａに相当する。
（Ｓ７１）枠生成部１４５は、マーカー画像の基準サイズに対する変形率を計算する。

（Ｓ７２）枠生成部１４５は、作業対象装置の枠画像をマーカー画像の変形率を基に変形することで、特徴点画像の枠画像に対する位置を補正する。
（Ｓ７３）枠生成部１４５は、カメラ画像に含まれる機器画像に対して、位置補正後の特徴点画像を、既存のパターン認識の方法を用いて照合することで、作業対象機器の機器画像を識別する。具体的には、枠生成部１４５は、補正後の特徴点画像と、当該補正後の特徴点画像と合致する特徴点画像を含む機器画像を、作業対象機器の機器画像と識別する。

（Ｓ７４）枠生成部１４５は、補正後の特徴点画像と、機器画像内の特徴点画像とを一致させることで、作業対象機器の機器画像の外縁に、枠画像の枠を一致させる。前述のように、枠生成部１４５は、特徴点画像に対する枠画像の相対位置を機器情報により把握しているので、補正後の特徴点画像と、機器画像内の特徴点画像とを一致させた後、特徴点画像の位置に対する当該相対位置により、枠画像の配置位置を決定する。すると、枠画像の枠を、作業対象機器の機器画像の外縁に一致させることができる。このようにして、枠生成部１４５は、枠設定を行う。

図２７は、枠設定の具体例を示す図である。例えば、枠生成部１４５は、マーカー１１ｆに対応するマーカー画像Ｍ１３の基準サイズに対する変形率により枠画像Ｆｒ１１を変形し、変形後の枠画像Ｆｒ１１ａを生成する。枠生成部１４５は、変形方法として、図２２，２３で説明した方法と同様の方法を用いることができる。このとき、枠生成部１４５は、特徴点画像Ｍ２１，Ｍ２２，Ｍ２３，Ｍ２４についても、枠画像Ｆｒ１１の変形率と同様に変形することで、枠画像Ｆｒ１１および特徴点画像Ｍ２１，Ｍ２２，Ｍ２３，Ｍ２４を含む画像全体が変形されるようにする。その結果、枠生成部１４５は、特徴点画像Ｍ２１に対して特徴点画像Ｍ２１ａを生成する。枠生成部１４５は、特徴点画像Ｍ２２に対して特徴点画像Ｍ２２ａを生成する。枠生成部１４５は、特徴点画像Ｍ２３に対して特徴点画像Ｍ２３ａを生成する。枠生成部１４５は、特徴点画像Ｍ２４に対して特徴点画像Ｍ２４ａを生成する。

ここで、情報機器１０ｆを背面カメラ１０５で撮像して得られた機器画像Ｐ１５には、特徴点画像Ｐ１５ａ，Ｐ１５ｂ，Ｐ１５ｃ，Ｐ１５ｄが含まれている。例えば、枠生成部１４５は、特徴点画像Ｍ２１ａ，Ｍ２２ａ，Ｍ２３ａ，Ｍ２４ａと、特徴点画像Ｐ１５ａ，Ｐ１５ｂ，Ｐ１５ｃ，Ｐ１５ｄとの照合により、機器画像Ｐ１５が作業対象機器の機器画像であると判断する。そして、枠生成部１４５は、枠画像Ｆｒ１１ａおよび特徴点画像Ｍ２１ａ，Ｍ２２ａ，Ｍ２３ａ，Ｍ２４ａの位置関係を保ったまま、特徴点画像Ｍ２１ａ，Ｍ２２ａ，Ｍ２３ａ，Ｍ２４ａを、特徴点画像Ｐ１５ａ，１５ｂ，Ｐ１５ｃ，Ｐ１５ｄに一致させる。すると、枠生成部１４５は、枠画像Ｆｒ１１ａを機器画像Ｐ１５の縁に合わせることができる。その後は、スマート端末１００は、マーカー画像Ｍ１３と、枠画像Ｆｒ１１ａとの位置関係を算出することで、マーカー画像Ｍ１３を基準とした各ＡＲ画像の表示位置を決定する。

このように、スマート端末１００によって、機器画像Ｐ１５への枠画像Ｆｒ１１ａの当てはめを行うことで、作業者Ｕ１による作業を一部省くことができ、作業者Ｕ１による作業を省力化できる。なお、上記の例では、特徴点として、４つの特徴点１２ｆ，１３ｆ，１４ｆ，１５ｆを例示したが、特徴点の数は４つ以外でもよい。また、図中では、各特徴点の形状を黒い四角形により表わしたが、特徴点は他の形状やパターンをもつものでもよい。

なお、第１の実施の形態の情報処理は、端末１が備えるプロセッサにプログラムを実行させることで実現できる。また、第２の実施の形態の情報処理は、プロセッサ１０１にプログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体２２に記録できる。

例えば、プログラムを記録した記録媒体２２を配布することで、プログラムを流通させることができる。また、プログラムを他のコンピュータに格納しておき、ネットワーク経由でプログラムを配布してもよい。コンピュータは、例えば、記録媒体２２に記録されたプログラムまたは他のコンピュータから受信したプログラムを、ＲＡＭ１０２やフラッシュメモリ１０３などの記憶装置に格納し（インストールし）、当該記憶装置からプログラムを読み込んで実行してもよい。

以上の第１，第２の実施の形態を含む実施形態に関し、更に以下の付記を開示する。
（付記１）画像から対象物に関する情報を有する対象画像を検出する検出部と、
前記対象画像から対象物の情報を取得し、前記対象物の情報と前記画像内の前記対象画像の位置とに基づいて、前記対象画像と前記対象物との位置関係を算出する算出部と、
を有する端末。

（付記２）前記算出部は、前記対象画像から読み取られる識別情報に対応づけて前記対象物の形状を示す情報を記憶する記憶部を参照して、前記識別情報に対応する前記対象物の輪郭を示す枠の画像を生成し、前記対象物の画像の縁と前記枠の画像との一致を検出すると、前記対象画像と前記枠との配置に基づいて前記位置関係を算出する、付記１記載の端末。

（付記３）前記記憶部は、前記識別情報に対応づけて前記対象物の特徴点の位置情報を記憶し、
前記算出部は、前記対象物の画像に含まれる前記特徴点と前記位置情報に基づいて、前記対象物の画像の縁に前記枠の画像を一致させる、付記２記載の端末。

（付記４）前記算出部は、前記対象物と前記対象画像とを含む第１の画像の所定の位置に、前記枠の画像を重ねた第２の画像を表示装置に出力し、前記第２の画像に含まれる前記対象物の画像の縁と前記枠の画像とが一致したことのユーザによる入力を受け付けると、前記対象物の画像の縁と前記枠の画像との一致を検出する、付記２記載の端末。

（付記５）前記算出部は、前記位置関係に基づいて前記画像内の前記対象物以外の領域を隠した画像を出力する、付記１乃至４記載の端末。
（付記６）前記算出部は、前記位置関係と、入力される画像における前記対象画像の変形とに応じて隠す対象の領域を補正する、付記５記載の端末。

（付記７）前記算出部は、入力される画像から前記対象画像が検出されなくなると、画像の出力を停止する、付記５または６記載の端末。
（付記８）前記算出部は、前記対象画像から読み取られる識別情報と前記対象物における所定位置との対応関係を示す情報と、前記対象画像と前記対象物との位置関係とに基づいて、前記画像内の前記対象画像の基準点に対する前記所定位置の相対的な座標を算出し、算出した前記座標に基づいて前記対象物に対する付加情報の表示位置を決定する、付記１乃至７の何れか１つに記載の端末。

（付記９）前記対象画像は、入力された画像に対してＡＲ（Augmented Reality）による付加情報の追加に用いられるＡＲ対象画像である、付記１乃至８の何れか１つに記載の端末。

（付記１０）コンピュータに、
画像から対象物の情報が格納されている対象画像を検出し、
前記対象画像から前記対象物の情報を取得し、前記対象物の情報と前記画像内の前記対象画像の位置とに基づいて、前記対象画像と前記対象物との位置関係を算出する、
処理を実行させる位置関係算出プログラム。

（付記１１）コンピュータが、
画像から対象物の情報が格納されている対象画像を検出し、
前記対象画像から前記対象物の情報を取得し、前記対象物の情報と前記画像内の前記対象画像の位置とに基づいて、前記対象画像と前記対象物との位置関係を算出する、
位置関係算出方法。

１ 端末
１ａ 記憶部
１ｂ 検出部
１ｃ 算出部
２ 撮像装置
３ 出力装置
４，５，６ 物体
４ａ マーカー
Ｐ１ 入力画像
Ｐ１ａ，Ｐ１ｂ，Ｐ１ｃ 物体画像
Ｐ２ 出力画像
Ｐ２ａ マスク画像
Ｍ１ マーカー画像
Ｔ１ テーブル
Ｆｒ１，Ｆｒ２ 枠画像

Claims (8)

1. 画像から対象物に関する情報を有する対象画像を検出する検出部と、
   前記対象画像から前記対象物の情報を取得し、前記対象物の情報と前記画像内の前記対象画像の位置とに基づいて、前記対象画像と前記対象物との位置関係を算出する算出部と、
   を有する端末。
2. 前記算出部は、前記対象画像から読み取られる識別情報に対応づけて前記対象物の形状を示す情報を記憶する記憶部を参照して、前記識別情報に対応する前記対象物の輪郭を示す枠の画像を生成し、前記対象物の画像の縁と前記枠の画像との一致を検出すると、前記対象画像と前記枠との配置に基づいて前記位置関係を算出する、請求項１記載の端末。
3. 前記記憶部は、前記識別情報に対応づけて前記対象物の特徴点の位置情報を記憶し、
   前記算出部は、前記対象物の画像に含まれる前記特徴点と前記位置情報に基づいて、前記対象物の画像の縁に前記枠の画像を一致させる、請求項２記載の端末。
4. 前記算出部は、前記対象物と前記対象画像とを含む第１の画像の所定の位置に、前記枠の画像を重ねた第２の画像を表示装置に出力し、前記第２の画像に含まれる前記対象物の画像の縁と前記枠の画像とが一致したことのユーザによる入力を受け付けると、前記対象物の画像の縁と前記枠の画像との一致を検出する、請求項２記載の端末。
5. 前記算出部は、前記位置関係に基づいて前記画像内の前記対象物以外の領域を隠した画像を出力する、請求項１乃至４記載の端末。
6. 前記算出部は、前記位置関係と、入力される画像における前記対象画像の変形とに応じて隠す対象の領域を補正する、請求項５記載の端末。
7. コンピュータに、
   画像から対象物の情報が格納されている対象画像を検出し、
   前記対象画像から前記対象物の情報を取得し、前記対象物の情報と前記画像内の前記対象画像の位置とに基づいて、前記対象画像と前記対象物との位置関係を算出する、
   処理を実行させる位置関係算出プログラム。
8. コンピュータが、
   画像から対象物の情報が格納されている対象画像を検出し、
   前記対象画像から前記対象物の情報を取得し、前記対象物の情報と前記画像内の前記対象画像の位置とに基づいて、前記対象画像と前記対象物との位置関係を算出する、
   位置関係算出方法。

Images