JP2020198001A - 作業支援システム、作業支援方法及びプログラム - Google Patents

Abstract

【課題】ユーザが容易に情報を把握できる作業支援システム等を提供する。【解決手段】作業支援装置１０は、１以上の機器が設置された空間の撮像画像を取得する撮像画像取得部１０１と、撮像画像に写っている機器を個別に識別する機器識別部１０３と、識別された機器ごとに機器関連情報を取得する機器関連情報取得部１０４と、フィルタリング条件に基づいて機器関連情報をフィルタリングするフィルタリング部１０６と、フィルタリング後に残った機器関連情報の存在を機器ごとに通知するために機器を指し示す通知画像が撮像画像に重畳された重畳画像を生成する重畳画像生成部１０７と、重畳画像を表示部１５に表示させる表示制御部１０８と、ユーザの操作に基づいて、通知画像により指し示された機器を選択する選択部１０９と、選択された機器に関連しフィルタリング後に残った機器関連情報をユーザに報知する報知部１１０と、を備える。【選択図】図７

Description

本発明は、作業支援システム、作業支援方法及びプログラムに関する。

機器の点検、修理、清掃など、機器に関する作業を、ＡＲ（Augmented Reality：拡張現実）により支援する技術が知られている。例えば特許文献１には、撮影された機器の映像に、当該機器の保全作業を支援するための情報を重畳して表示することにより、保全作業を支援する保全情報共有システムが開示されている。保全作業を支援するための情報とは、例えば、作業手順を示す映像、回路図、結線図等の図面、フィールド機器のパラメータなどを示す情報である。作業者は、保全作業を支援するための情報が重畳された映像を確認することで、機器ごとに必要な情報を確認しつつ作業を進めることができる。

特開２０１７−１７４１２７号公報

しかし、特許文献１の保全情報共有システムには、保全作業を支援するための情報が大量に存在すると、映像内に大量の情報が表示され、情報の把握が困難になるという問題がある。例えば、映像内に多数の機器が撮影されている場合において、大量の情報が表示されていると、どの情報がどの機器に関連する情報なのかを把握するのが困難になる。また、例えば、作業者の業務と関連性の薄い情報が大量に表示されていると、作業者は必要な情報を把握するのが困難になる。

本発明の目的は、上記の事情に鑑み、ユーザが容易に情報を把握できる作業支援システム等を提供することにある。

上記の目的を達成するため、本発明に係る作業支援システムは、１以上の機器が設置された空間の撮像画像を取得する撮像画像取得手段と、撮像画像に写っている機器を個別に識別する機器識別手段と、機器識別手段により識別された機器ごとに、該機器に関連する機器関連情報を取得する機器関連情報取得手段と、フィルタリング条件に基づいて機器関連情報をフィルタリングするフィルタリング手段と、フィルタリング手段によるフィルタリング後に残った機器関連情報の存在を機器ごとに通知するために該機器を指し示す通知画像が撮像画像に重畳された重畳画像を生成する重畳画像生成手段と、重畳画像を表示手段に表示させる表示制御手段と、操作手段を介したユーザの操作に基づいて、通知画像により指し示された機器を選択する選択手段と、選択手段により選択された機器に関連しフィルタリング後に残った機器関連情報をユーザに報知する報知手段と、を備える。

本発明によれば、フィルタリング条件に基づいて機器関連情報をフィルタリングし、フィルタリング後に残った機器関連情報の存在を機器ごとに通知するために該機器を指し示す通知画像が撮像画像に重畳されて表示手段に表示される。そのため、本発明によれば、大量の情報が表示されるのを防ぐことができるため、ユーザは容易に情報を把握できる。

本発明の実施の形態に係る作業支援システムの構成を示す図 本発明の実施の形態における、撮像画像が表示された画面の一例を示す図 図２において、作業支援装置を左に動かしたときの画面の一例を示す図 本発明の実施の形態における、重畳画像が表示された画面の一例を示す図 図４において、作業支援装置を左に動かしたときの画面の一例を示す図 本発明の実施の形態における、機器関連情報が表示された画面の一例を示す図 本発明の実施の形態に係る作業支援装置の機能的構成を示す図 本発明の実施の形態に係る位置対応情報の一例を示す図 本発明の実施の形態に係るサーバの機能的構成を示す図 本発明の実施の形態に係る機器関連情報テーブルの一例を示す図 本発明の実施の形態に係る作業者情報テーブルの一例を示す図 本発明の実施の形態に係るフィルタリング条件テーブルの一例を示す図 本発明の実施の形態に係る作業支援装置のハードウェア構成の一例を示す図 本発明の実施の形態に係る作業支援装置による重畳画像の表示の動作の一例を示すフローチャート 本発明の実施の形態に係る作業支援装置による機器関連情報の表示の動作の一例を示すフローチャート 本発明の実施の形態の変形例における、重畳画像が表示された画面の一例を示す図 本発明の実施の形態の変形例における、重畳画像が表示された画面の一例を示す図

以下、図面を参照しながら、本発明の実施の形態に係る作業支援システムを説明する。各図面においては、同一又は同等の部分に同一の符号を付す。

（実施の形態）
図１を参照しながら、実施の形態に係る作業支援システム１を説明する。作業支援システム１は、作業者が作業対象となる機器に関連する情報（以下、機器関連情報という）を容易に把握できるようにすることにより、作業者が機器に対して行うべき作業を支援する作業支援システムである。作業支援システム１は、機器関連情報を作業者に報知する作業支援装置１０と、作業支援装置１０とネットワークＮＴを介して通信するサーバ２０とを備える。作業支援システム１は、本発明に係る作業支援システムの一例である。

機器関連情報は、例えば、機器の種別を示す情報、機器に対して行われた作業を示す情報、当該作業についての特記事項を示す情報などを含む。作業者は、作業対象となる機器についての機器関連情報を確認しつつ作業を行う。また、作業者が機器に対して行うべき作業とは、例えば点検、修理、清掃などである。

作業支援装置１０は、機器が設置された空間を撮像し、機器関連情報の存在を機器ごとに通知する通知画像が撮像画像に重畳された重畳画像を表示する。詳細は後述するが、重畳画像を生成する際に、機器関連情報がフィルタリング条件に基づいてフィルタリングされる。これにより、作業支援装置１０のユーザである作業者に必要な機器関連情報の存在のみが通知画像により示されるので、作業者は、機器関連情報を容易に把握できる。また、作業支援装置１０は、作業者が撮像画像に写っている機器を選択する操作を行ったことに応じて、当該機器についての機器関連情報を表示する。作業支援装置１０の機能的構成については後述する。なお、作業支援装置１０は、本発明に係る作業支援システムの各構成を備えるので、作業支援装置１０もまた、本発明に係る作業支援システムの一例である。

作業支援装置１０は、例えばスマートフォン、タブレット端末など、カメラ及びタッチパネルディスプレイを備える携帯端末である。あるいは、作業支援装置１０は、カメラとディスプレイと操作用コントローラとを備えるヘッドマウントディスプレイ装置であってもよい。また、上記いずれの場合であっても、作業支援装置１０は、サーバ２０と通信可能であるものとする。以下では、特段の断りが無い限り、作業支援装置１０はタブレット端末であるものとして説明する。

サーバ２０は、機器に関する情報、作業者に関する情報及びフィルタリング条件に関する情報を記憶し、必要に応じて作業支援装置１０と通信する。作業支援装置１０とサーバ２０とはネットワークＮＴを介して通信する。ネットワークＮＴは、例えばインターネットであり、サーバ２０は、例えばインターネット上のクラウドサーバである。ただし、サーバ２０が、機器が設置された建物内に設置されたサーバであり、ネットワークＮＴが当該建物内にて構築されたローカルエリアネットワーク（ＬＡＮ）であってもよい。サーバ２０の機能的構成については後述する。

（作業支援の概略）
作業支援装置１０及びサーバ２０の機能的構成を説明する前に、理解を容易にするため、作業支援装置１０による作業支援の概略を、作業支援装置１０のタッチパネルディスプレイに表示される画像を例示して説明する。作業支援装置１０は、機器が設置された空間を撮像し、撮像画像を図２に示すように表示する。なお、図２では、後述の表示部１５及び操作部１６がタッチパネルディスプレイとして一体となっている。図２に示す撮像画像では、機器Ａ１−Ａ５が写っている。なお、簡略のため、図２では各機器を立方体状のものとして記載している。作業支援装置１０は、継続的に空間を撮像し、タッチパネルディスプレイに撮像画像を表示する。そのため、作業者が作業支援装置１０を動かすと、表示される撮像画像も動きに追随して変化する。例えば、作業者が作業支援装置１０を左に動かすと、図３に示すように、撮像画像内において各機器は右に移動するように見える。

作業支援装置１０は、撮像画像に写っている各機器を個別に識別し、機器ごとに機器関連情報をサーバ２０から取得する。どのようにして機器を個別に識別するかについては後述する。作業支援装置１０は、フィルタリング条件に基づいて機器関連情報をフィルタリングする。フィルタリングの詳細については後述する。

作業支援装置１０は、フィルタリング後に残った機器関連情報の存在を機器ごとに通知する通知画像が撮像画像に重畳された重畳画像を、図４に示すようにタッチパネルディスプレイに表示する。図４に示すように、通知画像Ｂ１，Ｂ３及びＢ４は吹き出しにより表され、それぞれ撮像画像に写っている機器Ａ１，Ａ３及びＡ４を指し示す。通知画像Ｂ１，Ｂ３及びＢ４により、作業者は、機器Ａ１，Ａ３及びＡ４にはフィルタリング後に残った機器関連情報が存在することを把握できる。図４では、機器Ａ２及びＡ５については、フィルタリング後に残った機器関連情報が存在しないので、機器Ａ２及びＡ５を指し示す通知画像が存在しない。各通知画像にて示されている数値は、フィルタリング後に存在する機器関連情報の件数である。また、図４には、フィルタリング条件を変更するための条件変更ボタンも表示されている。条件変更については後述する。

通知画像は、撮像画像に写っている機器を指し示すので、作業者が作業支援装置１０を動かすことにより撮像画像が追随して変化すると、通知画像も追随して変化する。例えば、作業者が作業支援装置１０を左に動かすことにより撮像画像内において各機器が右に移動するように見える場合、図５に示すように、重畳画像内の通知画像も指し示す機器に追随して右に移動するように見える。通知画像が重畳される前の撮像画像は現実空間を撮像することにより得られる画像なので、作業支援装置１０により、あたかも機器を指し示す通知画像が現実空間に重畳されたかのような体験を作業者に提供できる。つまり、作業支援装置１０により、拡張現実（ＡＲ）を実現できる。

作業者は、作業支援装置１０のタッチパネルディスプレイに表示された通知画像をタッチして選択する操作をすることにより、図６に示すように、当該通知画像が指し示す機器についての機器関連情報を確認することができる。また、作業者が図６に示す「戻る」のボタンをタッチする操作をすることにより、機器関連情報の表示が消去され、再び図４に示すような重畳画像がタッチパネルディスプレイに表示される。

以上、作業支援装置１０による作業支援の概略を説明した。作業支援装置１０によれば、フィルタリング条件に基づいて機器関連情報をフィルタリングし、フィルタリング後に残った機器関連情報の存在を機器ごとに通知するために当該機器を指し示す通知画像が撮像画像に重畳されてタッチパネルディスプレイに表示される。そのため、作業支援装置１０によれば、大量の情報が表示されるのを防ぐことができるため、作業者は容易に作業関連情報を把握できる。

（作業支援装置１０の機能的構成）
次に、図７を参照しながら、作業支援装置１０の機能的構成を説明する。作業支援装置１０は、サーバ２０と通信する通信部１１と、機器が設置された空間を撮像する撮像部１２と、作業支援装置１０の現在位置を示す位置情報を取得する位置情報取得部１３と、作業支援装置１０の方位を示す方位情報を取得する方位情報取得部１４と、画像を表示する表示部１５と、ユーザの操作を受け付ける操作部１６と、情報を記憶する記憶部１７と、作業支援装置１０を統括制御する制御部１００と、を備える。詳細は後述するが、各機能部は、例えばタブレット端末である作業支援装置１０が、当該端末に保存された制御プログラムを実行することにより実現される。

通信部１１は、ネットワークＮＴを介してサーバ２０と通信する。通信部１１は、例えばＬＴＥ（Long Term Evolution）通信モジュールにより実現され、この場合、通信部１１は携帯電話通信網を介してサーバ２０と通信する。

撮像部１２は、機器が設置された空間を撮像する。撮像部１２は、例えばオートフォーカス機能を有するカメラモジュールにより実現される。撮像部１２は、本発明に係る撮像手段の一例である。

位置情報取得部１３は、作業支援装置１０が現在存在する位置を示す位置情報を取得する。位置情報取得部１３は、例えばＧＰＳ（Global Positioning System：全地球測位システム）モジュールにより実現される。また、位置情報取得部１３は、例えば無線通信機器から発せられるビーコン信号に基づいて屋内測位を行う屋内測位モジュールにより実現されるものであってもよい。位置情報は、例えば緯度、経度及び標高の組により表されるが、建物内のある地点を基準とした相対的な座標により表されるものであってもよい。

方位情報取得部１４は、作業支援装置１０の方位、つまり作業支援装置１０が現在どの方向を向いているかを示す方位情報を取得する。方位情報取得部１４は、例えば地磁気センサモジュールにより実現される。なお、ここでいう方位とは、水平面上における向きのみでなく、高さ方向の向きも含むものとする。方位情報は、例えば方位角及び仰角の組により表される。

表示部１５は、制御部１００の制御に基づいて画像を表示する。表示部１５は、例えば後述の操作部１６と一体となったタッチパネルディスプレイにより実現される。また、例えば作業支援装置１０がヘッドマウントディスプレイ装置である場合、当該ヘッドマウントディスプレイ装置に設けられたディスプレイにより表示部１５が実現される。表示部１５は、本発明に係る表示手段の一例である。

操作部１６は、ユーザである作業者からの操作を受け付け、操作に対応する信号を制御部１００に出力する。操作部１６は、例えば表示部１５と一体となったタッチパネルディスプレイにより実現される。また、例えば作業支援装置１０がヘッドマウントディスプレイ装置である場合、当該ヘッドマウントディスプレイ装置に設けられた操作用コントローラにより操作部１６が実現される。操作部１６は、本発明に係る操作手段の一例である。

記憶部１７は、作業者を個別に識別する作業者ＩＤ（Identifier：識別子）及びフィルタリング条件を記憶する。また記憶部１７は、サーバ２０から取得された後述の各種情報を一時的に保存するためにも使用される。

制御部１００は、作業支援装置１０を統括制御し、ユーザである作業者による作業を支援する。制御部１００は、撮像部１２により撮像された撮像画像を取得する撮像画像取得部１０１と、機器の空間内における設置位置を特定する設置位置特定部１０２と、撮像画像に写っている機器を個別に識別する機器識別部１０３と、識別された機器についての機器関連情報を取得する機器関連情報取得部１０４と、フィルタリング条件を取得するフィルタリング条件取得部１０５と、フィルタリング条件に基づいて機器関連情報をフィルタリングするフィルタリング部１０６と、通知画像が撮像画像に重畳された重畳画像を生成する重畳画像生成部１０７と、重畳画像を表示部１５に表示させる表示制御部１０８と、ユーザである作業者の操作に基づいて機器を選択する選択部１０９と、選択された機器についての機器関連情報を作業者に報知する報知部１１０と、を備える。

撮像画像取得部１０１は、撮像部１２を制御して、機器が設置された空間の撮像画像を取得する。撮像画像取得部１０１は、本発明に係る撮像画像取得手段の一例である。

設置位置特定部１０２は、撮像画像に写っている各機器の、空間内における設置位置を特定する。設置位置特定部１０２は、本発明に係る設置位置特定手段の一例である。

設置位置特定部１０２は、例えば、位置情報取得部１３により取得された位置情報と、作業支援装置１０の現在位置を基準とした機器の相対位置とに基づいて機器の設置位置を特定する。機器の相対位置は、例えば、方位情報取得部１４により取得された方位情報と、撮像部１２が機器に焦点を合わせた際にオートフォーカス機能により得られる焦点距離とに基づいて求めることができる。方位情報により作業支援装置１０を基準としてどの方位に機器が存在するかがわかり、焦点距離により作業支援装置１０から機器までの距離がわかるので、作業支援装置１０を基準とした機器の相対位置を求めることができる。また、焦点距離に代えて、作業支援装置１０に測距センサを設け、当該測距センサにより得られる作業支援装置１０から機器までの距離を利用してもよい。

機器識別部１０３は、設置位置特定部１０２により特定された各機器の設置位置に基づいて、各機器を個別に識別する。機器識別部１０３は、機器の設置位置と機器との対応を示す位置対応情報を取得し、設置位置に基づいて機器を個別に識別する。機器識別部１０３は、本発明に係る機器識別手段の一例である。

位置対応情報は、例えば図８に示すような、機器を個別に識別するために各機器に割り当てられた機器ＩＤと、機器の設置位置とが対応付けられた情報である。設置位置に対応する機器ＩＤを特定することが、機器を個別に識別することとなる。機器の設置位置は、作業支援装置１０の位置を示す位置情報と同様に、例えば緯度、経度及び標高の組により表される。機器識別部１０３は、サーバ２０から位置対応情報を取得し、一時的に記憶部１７に保存する。記憶部１７に位置対応情報が保存されているとき、機器識別部１０３は、記憶部１７から位置対応情報を取得する。位置対応情報は、例えば機器の設置時に設置者がサーバ２０に登録する。位置対応情報を登録する機能は、作業支援装置１０に設けられていてもよいし、位置対応情報を登録するための専用端末に設けられていてもよい。

機器関連情報取得部１０４は、機器識別部１０３により識別された機器についての機器関連情報をサーバ２０から取得し記憶部１７に一時的に保存する。機器関連情報取得部１０４は、例えば、機器識別部１０３により識別された機器の機器ＩＤをサーバ２０に送信しつつ当該機器ＩＤに紐付けられた機器関連情報をサーバに要求し、当該機器ＩＤに紐付けられた機器関連情報をサーバ２０から受信する。機器関連情報取得部１０４は、本発明に係る機器関連情報取得手段の一例である。

フィルタリング条件取得部１０５は、フィルタリング条件を取得する。作業支援装置１０の起動直後など、記憶部１７にフィルタリング条件が保存されていないとき、フィルタリング条件取得部１０５は、サーバ２０からフィルタリング条件を取得し、記憶部１７に保存する。この際、フィルタリング条件取得部１０５は、記憶部１７に保存された作業者ＩＤをサーバ２０に送信し、作業者の属性に応じて定められたフィルタリング条件をサーバ２０から取得する。また、作業者が操作部１６によりフィルタリング条件を変更する操作をしたとき、フィルタリング条件取得部１０５は、作業者の操作に基づくフィルタリング条件を取得し、記憶部１７に保存する。つまり、フィルタリング条件取得部１０５は、フィルタリング条件の初期設定をサーバ２０から取得し、作業者がフィルタリング条件を変更する操作をしたときには当該操作に応じたフィルタリング条件を取得し、記憶部１７に保存する。また、記憶部１７にフィルタリング条件が保存されており、かつフィルタリング条件を変更する操作がないとき、フィルタリング条件取得部１０５は、記憶部１７に保存されたフィルタリング条件を取得する。

フィルタリング部１０６は、フィルタリング条件取得部１０５により取得されたフィルタリング条件に基づいて、機器関連情報取得部１０４により取得された各機器についての機器関連情報をフィルタリングする。機器関連情報のフィルタリングは、機器関連情報のうちフィルタリング条件を満たす機器関連情報のみを作業者に報知するために残し、フィルタリング条件を満たさない機器関連情報は報知対象としないために行われる。フィルタリング部１０６は、本発明に係るフィルタリング手段の一例である。

重畳画像生成部１０７は、フィルタリング部１０６によるフィルタリング後に残った機器関連情報の存在を機器ごとに通知するために当該機器を指し示す通知画像を撮像画像に重畳した重畳画像を生成する。前述のとおり、重畳画像は、例えば図４に示すようなものとして表示部１５に表示される。なお、重畳画像生成部１０７は、通知画像のみでなく、図４に示すように、フィルタリング条件を変更するボタンをさらに撮像画像に重畳してもよい。フィルタリングの結果、機器関連情報が残らなかった機器については、通知画像が重畳されない。重畳画像生成部１０７は、本発明に係る重畳画像生成手段の一例である。

表示制御部１０８は、重畳画像生成部１０７により生成された重畳画像を表示部１５に表示させる。表示制御部１０８は、本発明に係る表示制御手段の一例である。

選択部１０９は、ユーザである作業者による操作部１６を介した操作に基づいて、通知画像にて指し示された機器を選択する。例えば、作業者が図４に示す通知画像Ｂ１をタッチする操作をしたとき、選択部１０９は、機器Ａ１を選択する。具体的には、機器Ａ１に対応する機器ＩＤを特定することにより、機器Ａ１を選択する。選択部１０９により選択された機器についての機器関連情報が、後述の報知部１１０により作業者に報知される。選択部１０９は、本発明に係る選択手段の一例である。

報知部１１０は、選択部１０９により選択された機器についての機器関連情報を作業者に報知する。具体的には、選択部１０９により特定された機器ＩＤに対応する機器関連情報を作業者に報知する。報知部１１０は、例えば図６に示すように表示部１５に機器関連情報を表示させることにより、機器関連情報を作業者に報知する。あるいは、作業支援装置１０に表示部１５とは異なる第２の表示部を設け、報知部１１０が当該第２の表示部に機器関連情報を表示させることにより機器関連情報を表示してもよい。そのほか、作業支援装置１０にスピーカを設け、機器関連情報を読み上げた音声を当該スピーカに出力することにより機器関連情報を作業者に報知してもよい。報知部１１０は、本発明に係る報知手段の一例である。

（サーバ２０の機能的構成）
次に、図９を参照しながら、サーバ２０の機能的構成を説明する。サーバ２０は、作業支援装置１０と通信する通信部２１と、作業支援装置１０による作業支援に必要な情報を記憶する記憶部２２と、サーバ２０を統括制御する制御部２００と、を備える。

通信部２１は、ネットワークＮＴを介して作業支援装置１０と通信する。通信部２１は、例えばネットワークインタフェースにより実現される。

記憶部２２は、位置対応情報を格納する位置対応情報テーブルＤ２２１と、各機器についての機器関連情報を格納する機器関連情報テーブルＤ２２２と、各作業者についての情報を示す作業者情報を格納する作業者情報テーブルＤ２２３と、作業者情報にて定められた作業者属性とフィルタリング条件との対応関係を格納するフィルタリング条件テーブルＤ２２４と、を記憶する。

位置対応情報テーブルＤ２２１は、機器の設置位置と機器との対応を示す位置対応情報を格納する。位置対応情報テーブルＤ２２１は、例えば前述の図８に示す形式にて表される位置対応情報を格納する。

機器関連情報テーブルＤ２２２は、各機器についての機器関連情報を格納する。機器関連情報テーブルＤ２２２は、例えば図１０にて示す形式にて表される。図１０に示す各行が１つの機器関連情報を示す。

機器ＩＤの項目は、位置対応情報の場合と同様、機器を個別に識別するために各機器に割り当てられているＩＤを示す。機器ＩＤを割り当てられた機器は、位置対応情報テーブルＤ２２１により設置位置と紐付けられ、機器関連情報テーブルＤ２２２により機器関連情報と紐付けられる。図１０に示すように、１つの機器ＩＤに対して機器関連情報は２以上存在しうる。

機器種別の項目は、巻上機、制御盤、室内機などの機器の種別を示す項目である。詳細は後述するが、機器種別の項目は、フィルタリング時に参照される。図１０では、機器ＩＤが１の機器と機器ＩＤが４の機器がともに巻上機となっているが、これらの機器は機器ＩＤが異なるので、機器種別は同一であるものの互いに異なる機器である。

作業内容の項目は、点検、修理、清掃など、作業者の作業内容を示す項目である。作業内容の項目もまた、フィルタリング時に使用される。

登録日時の項目は、ユーザによる登録操作により機器関連情報が機器関連情報テーブルＤ２２２に格納された日時を示す。登録操作は、例えば作業支援装置１０に機器関連情報を登録する機能を設け、作業者が作業支援装置１０の当該機能により機器関連情報を登録する操作を行うことである。あるいは、サーバ２０に機器関連情報を登録する機能を設け、サーバ２０の管理者が作業者により作成された報告書に基づいて機器関連情報を登録してもよい。

担当者の項目は、作業内容の項目にて示される作業を担当した者あるいは担当する予定の者を示す。特記事項の項目は、例えば注意事項、作業予定日時など、担当者が作成した任意の文字列を示す。

上記のほか、機器関連情報テーブルＤ２２２は、作業を支援するために有用な情報を任意に格納しうる。例えば、機器関連情報テーブルＤ２２２は、機器の仕様を示す情報を格納してもよいし、作業手順を示す映像の情報を格納してもよい。

作業者情報テーブルＤ２２３は、各作業者についての情報を示す作業者情報を格納する。作業者情報テーブルＤ２２３は、例えば図１１に示す形式にて表される。

作業者ＩＤの項目は、作業者を個別に識別するために各作業者に割り当てられた作業者ＩＤを示す。作業支援装置１０から送信された作業者ＩＤを、作業者情報テーブルＤ２２３にて示される作業者ＩＤと照合することにより、当該作業支援装置１０のユーザである作業者についての情報を参照できる。

氏名の項目は、作業者の氏名を示す。担当業務の項目は、点検、修理、清掃など作業者の担当業務を示す。担当機器の項目は、作業者が担当する機器の種別を示す。担当業務及び担当機器を総括して、作業者属性という。作業者属性は、後述のフィルタリング条件決定の際に使用される。

フィルタリング条件テーブルＤ２２４は、作業者属性ごとに対応付けられたフィルタリング条件を格納する。フィルタリング条件テーブルＤ２２４は、例えば図１２に示す形式により表される。フィルタリング条件テーブルＤ２２４は、後述のフィルタリング条件決定の際に参照される。また、前述のとおり、サーバ２０が作業支援装置１０に送信するフィルタリング条件は、作業支援装置１０においてフィルタリング条件の初期設定として使用されるので、フィルタリング条件テーブルＤ２２４は、フィルタリング条件の初期設定を格納するものである。

再び図９を参照する。制御部２００は、サーバ２０を統括制御する。制御部２００は、位置対応情報を作業支援装置１０に送信する位置対応情報送信部２０１と、機器関連情報を作業支援装置１０に送信する機器関連情報送信部２０２と、作業者属性を取得する作業者属性取得部２０３と、作業支援装置１０に送信すべきフィルタリング条件を決定するフィルタリング条件決定部２０４と、フィルタリング条件を作業支援装置１０に送信するフィルタリング条件送信部２０５と、を備える。

位置対応情報送信部２０１は、記憶部２２に保存された位置対応情報テーブルＤ２２１を参照し、作業支援装置１０からの要求に応じて、位置対応情報テーブルＤ２２１に格納された位置対応情報を作業支援装置１０に送信する。

機器関連情報送信部２０２は、記憶部２２に保存された機器関連情報テーブルＤ２２２を参照し、作業支援装置１０から受信した機器ＩＤに対応する機器関連情報を全て作業支援装置１０に送信する。

作業者属性取得部２０３は、記憶部２２に保存された作業者情報テーブルＤ２２３を参照し、作業支援装置１０から受信した作業者ＩＤに対応する作業者属性を取得する。

フィルタリング条件決定部２０４は、記憶部２２に保存されたフィルタリング条件テーブルＤ２２４を参照し、作業者属性取得部２０３により取得された作業者属性に対応するフィルタリング条件を、作業支援装置１０に送信すべきフィルタリング条件として決定する。

フィルタリング条件送信部２０５は、作業支援装置１０からの要求に応じて、フィルタリング条件決定部２０４により決定されたフィルタリング条件を作業支援装置１０に送信する。

（ハードウェア構成）
次に、作業支援装置１０のハードウェア構成の一例について、図１３を参照しながら説明する。図１３に示す作業支援装置１０は、例えばスマートフォン、タブレット端末、ヘッドマウントディスプレイ装置などの携帯可能なコンピュータにより実現される。

作業支援装置１０は、バス１０００を介して互いに接続された、プロセッサ１００１と、メモリ１００２と、インタフェース１００３と、二次記憶装置１００４と、を備える。

プロセッサ１００１は、例えばＣＰＵ（Central Processing Unit：中央演算装置）である。プロセッサ１００１が、二次記憶装置１００４に記憶された動作プログラムをメモリ１００２に読み込んで実行することにより、作業支援装置１０の各機能が実現される。

メモリ１００２は、例えば、ＲＡＭ（Random Access Memory）により構成される主記憶装置である。メモリ１００２は、プロセッサ１００１が二次記憶装置１００４から読み込んだ動作プログラムを記憶する。また、メモリ１００２は、プロセッサ１００１が動作プログラムを実行する際のワークメモリとして機能する。

インタフェース１００３は、例えばシリアルポート、ＵＳＢ（Universal Serial Bus）ポート、ネットワークインタフェースなどのＩ／Ｏ（Input/Output）インタフェースである。インタフェース１００３に各種モジュール、タッチパネルディスプレイなどが接続されることにより、通信部１１、撮像部１２、位置情報取得部１３、方位情報取得部１４、表示部１５及び操作部１６の機能が実現される。

二次記憶装置１００４は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）である。二次記憶装置１００４は、プロセッサ１００１が実行する動作プログラムを記憶する。また、二次記憶装置１００４により、記憶部１７の機能が実現される。

また、サーバ２０も、例えばパーソナルコンピュータ、サーバ用コンピュータなどのコンピュータにより実現され、図１３と同様のハードウェア構成を備える。

（フィルタリング条件）
次に、理解を容易にするため、図１０、図１１及び図１２を参照しながら、フィルタリング条件を説明する。まず、作業者が「Ａ田Ｂ郎」である場合を考える。このとき、図１１から、作業者属性については、担当業務が「点検」となり、担当機器が「巻上機・制御盤」となる。そして、図１２から、参照すべき作業者属性の項目は「担当機器が巻上機・制御盤」となり、対応するフィルタリング条件は「機器種別が巻上機または制御盤」となる。図１２では、作業者属性の項目に「点検」に関する項目がないので、「Ａ田Ｂ郎」についての担当業務「点検」は考慮されない。

フィルタリング条件が「機器種別が巻上機または制御盤」であるとき、図１０に示す機器関連情報のうち、機器種別の項目が「巻上機」または「制御盤」である機器関連情報のみがフィルタリング後に残る。そのため、「巻上機」を指し示す通知画像及び「制御盤」を指し示す通知画像のみが撮像画像に重畳される。

作業者が「Ｉ川Ｊ次」である場合を考える。このとき、図１１から、作業者属性については、担当業務が「清掃」となり、担当機器が「室内機」となる。そして、図１２から、参照すべき作業者属性の項目は「担当機器が室内機 かつ 担当業務が清掃」となり、対応するフィルタリング条件は「機器種別が室内機 かつ 作業内容が点検または清掃」となる。「Ａ田Ｂ郎」の場合と異なり、図１２では、作業者属性の項目に「清掃」に関する項目があり、担当機器も一致するので、「Ｉ川Ｊ次」についての担当業務「清掃」が考慮される。

この場合、機器種別の項目が「室内機」である機器関連情報であっても、作業内容の項目が「点検」でも「清掃」でもない場合には、当該機器関連情報はフィルタリング後には残らない。したがって、作業者が「Ｉ川Ｊ次」である場合、例えば「修理」は行われているものの「点検」も「清掃」も行われていない「室内機」については通知画像が生成されない。室内機の清掃という業務において、点検及び清掃に関する情報は必要である一方、修理に関する情報はさほど重要でないと考えられるため、室内機の清掃を業務とする「Ｉ川Ｊ次」にとって、情報の把握が容易となる。

なお、前述のとおり、作業支援装置１０がサーバ２０から取得するフィルタリング条件は、フィルタリング条件の初期設定である。したがって、例えばユーザが図４に示す「条件変更」ボタンを選択する操作をし、作業支援装置１０にて適用されるフィルタリング条件を変更できる。例えば、「Ａ田Ｂ郎」が「巻上機」についての機器関連情報のみを残すためのフィルタリング条件を設定できる。

（重畳画像の表示の動作）
次に、図１４を参照しながら、作業支援装置１０による重畳画像の表示の動作の一例を説明する。図１４に示す動作は、例えば作業者が作業支援装置１０に保存された制御プログラムを実行したときに開始される。

作業支援装置１０の制御部１００の撮像画像取得部１０１は、撮像部１２を制御して、機器が設置された空間の撮像画像を取得する（ステップＳ１０１）。なお、初めてこのステップを実行するときには、後述のステップＳ１１０が実行されるまで何も表示されないことを防ぐべく、制御部１００は、図２に示すように撮像画像を表示部１５に表示させることが好ましい。

制御部１００の設置位置特定部１０２は、撮像画像に写っている各機器の設置位置を特定する（ステップＳ１０２）。

制御部１００の機器識別部１０３は、位置対応情報を取得する（ステップＳ１０３）。位置対応情報が記憶部１７に保存されていないとき、機器識別部１０３は、サーバ２０から位置対応情報を取得して記憶部１７に一時的に保存する。位置対応情報が記憶部１７に保存されているとき、機器識別部１０３は、記憶部１７に保存されている位置対応情報を取得する。

機器識別部１０３は、ステップＳ１０３にて取得した位置対応情報を参照し、ステップＳ１０２にて特定した各機器の設置位置に基づいて機器ＩＤを特定することにより、機器を個別に識別する（ステップＳ１０４）。

制御部１００の機器関連情報取得部１０４は、機器ごとに、ステップＳ１０４にて特定した機器ＩＤに対応する機器関連情報をサーバ２０から取得する（ステップＳ１０５）。前述の通り、機器関連情報取得部１０４は、機器ＩＤをサーバ２０に送信することにより、対応する機器関連情報をサーバ２０から取得できる。

制御部１００のフィルタリング条件取得部１０５は、フィルタリング条件を取得する（ステップＳ１０６）。前述のとおり、記憶部１７にフィルタリング条件が保存されていないとき、フィルタリング条件取得部１０５は、作業者ＩＤをサーバ２０に送信し、サーバ２０からフィルタリング条件を取得して記憶部１７に保存する。作業者がフィルタリング条件を変更する操作をしたとき、フィルタリング条件取得部１０５は、当該操作に応じたフィルタリング条件を取得して記憶部１７に保存する。記憶部１７にフィルタリング条件が保存されており、かつフィルタリング条件を変更する操作がないとき、フィルタリング条件取得部１０５は、記憶部１７に保存されたフィルタリング条件を取得する。なお、このステップＳ１０６の動作は、ステップＳ１０７より前であればどのタイミングで行われてもかまわない。例えば、ステップＳ１０１より前に実行されてもかまわない。

制御部１００のフィルタリング部１０６は、ステップＳ１０６にて取得されたフィルタリング条件に基づいて、ステップＳ１０５にて取得された機器関連情報をフィルタリングする（ステップＳ１０７）。

制御部１００の重畳画像生成部１０７は、ステップＳ１０７によるフィルタリング後に残った機器関連情報の存在を機器ごとに通知するために当該機器を指し示す通知画像を撮像画像に重畳した重畳画像を生成する（ステップＳ１０８）。

制御部１００の表示制御部１０８は、ステップＳ１０８にて生成された重畳画像を、図４に示すように表示部１５に表示させる（ステップＳ１０９）。そして制御部１００は、ステップＳ１０１からの動作の流れを繰り返す。

次に、図１５を参照しながら、作業支援装置１０による機器関連情報の表示の動作の一例を説明する。図１５に示す動作は、例えば作業者が作業支援装置１０に保存された制御プログラムを実行したときに、図１４に示す動作と並行して開始される。

制御部１００は、通知画像により指し示された機器を選択する操作を待ち受ける（ステップＳ２０１）。制御部１００は、作業者が操作部１６を介して当該操作を行ったとき、ステップＳ２０２以降の動作を実行する。

制御部１００の選択部１０９は、ステップＳ２０１にて待ち受けた作業者の選択操作に応じた機器を選択する（ステップＳ２０２）。例えば、作業者がタッチ操作により機器を選択する操作をしたとき、選択部１０９は、当該機器に対応する機器ＩＤを特定することにより、機器を選択する。

制御部１００の報知部１１０は、ステップＳ２０２にて選択された機器についての、フィルタリング後の機器関連情報を図６に示すように表示部１５に表示させることにより、選択された機器についての機器関連情報を作業者に報知する（ステップＳ２０３）。

制御部１００は、作業者によるリターン操作を待ち受ける（ステップＳ２０４）。リターン操作とは、例えば図６に示す「戻る」ボタンを選択し機器関連情報を表示する前の画面に戻るための操作である。リターン操作があったとき、制御部１００はステップＳ２０５以降の動作を実行する。

制御部１００は、表示部１５に表示された機器関連情報の表示を消去し、再び図４に示すような画面に戻す（ステップＳ２０５）。そして制御部１００は、ステップＳ２０１からの動作の流れを繰り返す。

（効果）
以上、実施の形態に係る作業支援システム１を説明した。作業支援システム１によれば、フィルタリング条件に基づいて機器関連情報をフィルタリングし、フィルタリング後に残った機器関連情報の存在を機器ごとに通知するために該機器を指し示す通知画像が撮像画像に重畳されて表示部１５に表示される。そのため、作業支援システム１によれば、大量の情報が表示されるのを防ぐことができるため、ユーザである作業者は容易に情報を把握できる。

また、作業支援システム１によれば、フィルタリング条件の初期設定が作業者属性に応じて決定されるので、作業者の業務に適したフィルタリング条件が初期設定として設定され、作業者はフィルタリング条件を自ら設定しなくとも自身に必要な情報を容易に把握できる。

（変形例）
実施の形態において、図４に示すように、通知画像は機器関連情報の件数も示すものであったが、通知画像は必ずしも件数を示す必要はなく、例えば空白であってもよいし、機器種別、担当者など機器関連情報の一部を文字列にて示すものであってもよい。また、撮像位置（つまり、作業支援装置１０の現在位置）の近くにある機器についてのみ件数を示し、遠くにある機器については空白としてもよい。

また、図４では、通知画像は吹き出しにより機器を指し示すものとしたが、通知画像が指し示す機器が明らかにわかるものであれば、通知画像は吹き出しに限られない。例えば図１６に示すように、単純な形状の画像を通知画像としても、機器の近傍に通知画像を重畳することにより、通知画像が指し示す機器は明らかとなる。また、図１７に示すように、通知画像を円状、楕円状などの形状とし、機器の一部または全部を当該通知画像にて囲む位置に通知画像を重畳することにより、通知画像が指し示す機器を明らかにしてもよい。

実施の形態において、作業支援装置１０は、設置位置特定部１０２により撮像画像に写っている各機器の空間内における設置位置を特定し、機器識別部１０３により設置位置に基づいて各機器を個別に識別した。しかし、作業支援装置１０に設置位置特定部１０２を設けず、機器識別部１０３は設置位置に依らずに撮像画像に写っている各機器を個別に識別してもよい。例えば、機器の設置時に各機器に個別のＡＲ用のマーカを付し、機器識別部１０３は、撮像画像に写っている機器のＡＲ用マーカを認識することにより各機器を個別に識別してもよい。

実施の形態の変形例として、作業支援システム１において、作業支援装置１０の制御部１００の機能の一部をサーバ２０の制御部２００が代わりに備える形態が採用されうる。例えば、機器識別部１０３と同様の機能部を制御部２００が代わりに備え、制御部１００は機器の設置位置を示す情報をサーバ２０に送信し、制御部２００が設置位置に基づいて機器を識別し当該機器の機器関連情報を作業支援装置１０に送信してもよい。この形態により、作業支援装置１０には位置対応情報が不要となるので、大量の機器を管理し位置対応情報のデータ容量が莫大となるときに有利となる。

実施の形態の変形例として、作業支援システム１において、サーバ２０と通信することなく作業支援装置１０単独での作業支援を可能とする形態が採用されうる。例えば、サーバ２０の記憶部２２に保存されている各テーブルと同様の内容のテーブルを作業支援装置１０の記憶部１７に保存し、作業支援装置１０の制御部１００にサーバ２０の作業者属性取得部２０３及びフィルタリング条件決定部２０４と同様の機能部を設けることにより、作業支援装置１０がサーバ２０と通信しなくとも作業支援をすることができる。この形態は、例えば外部との通信が困難あるいは不可能な場所での作業にて有利となる。

実施の形態において、作業支援装置１０は撮像部１２、位置情報取得部１３、方位情報取得部１４、表示部１５及び操作部１６を備えるものとしたが、作業支援装置１０がこれらの一部又は全部を備えず、これらの機能を備える外部装置と通信する形態も採用されうる。例えば、作業支援装置１０が建物内に設置された携帯困難な装置であり、当該作業支援装置１０がカメラモジュール、ＧＰＳモジュール、地磁気センサモジュール及びタッチパネルディスプレイを備える携帯端末と通信するものであってもよい。

図１３に示すハードウェア構成においては、作業支援装置１０が二次記憶装置１００４を備えている。しかし、これに限らず、二次記憶装置１００４を作業支援装置１０の外部に設け、インタフェース１００３を介して作業支援装置１０と二次記憶装置１００４とが接続される形態としてもよい。この形態においては、ＵＳＢフラッシュドライブ、メモリカードなどのリムーバブルメディアも二次記憶装置１００４として使用可能である。

また、図１３に示すハードウェア構成に代えて、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、ＦＰＧＡ（Field Programmable Gate Array）などを用いた専用回路により作業支援装置１０を構成してもよい。また、図１３に示すハードウェア構成において、作業支援装置１０機能の一部を、例えばインタフェース１００３に接続された専用回路により実現してもよい。

１ 作業支援システム、１０ 作業支援装置、１１ 通信部、１２ 撮像部、１３ 位置情報取得部、１４ 方位情報取得部、１５ 表示部、１６ 操作部、１７ 記憶部、２０ サーバ、２１ 通信部、２２ 記憶部、１００ 制御部、１０１ 撮像画像取得部、１０２ 設置位置特定部、１０３ 機器識別部、１０４ 機器関連情報取得部、１０５ フィルタリング条件取得部、１０６ フィルタリング部、１０７ 重畳画像生成部、１０８ 表示制御部、１０９ 選択部、１１０ 報知部、２００ 制御部、２０１ 位置対応情報送信部、２０２ 機器関連情報送信部、２０３ 作業者属性取得部、２０４ フィルタリング条件決定部、２０５ フィルタリング条件送信部、１０００ バス、１００１ プロセッサ、１００２ メモリ、１００３ インタフェース、１００４ 二次記憶装置、Ａ１−Ａ５ 機器、Ｂ１，Ｂ３，Ｂ４ 通知画像、Ｄ２２１ 位置対応情報テーブル、Ｄ２２２ 機器関連情報テーブル、Ｄ２２３ 作業者情報テーブル、Ｄ２２４ フィルタリング条件テーブル、ＮＴ ネットワーク。

Claims (7)

1. １以上の機器が設置された空間の撮像画像を取得する撮像画像取得手段と、
   前記撮像画像に写っている機器を個別に識別する機器識別手段と、
   前記機器識別手段により識別された機器ごとに、該機器に関連する機器関連情報を取得する機器関連情報取得手段と、
   フィルタリング条件に基づいて前記機器関連情報をフィルタリングするフィルタリング手段と、
   前記フィルタリング手段によるフィルタリング後に残った前記機器関連情報の存在を機器ごとに通知するために該機器を指し示す通知画像が前記撮像画像に重畳された重畳画像を生成する重畳画像生成手段と、
   前記重畳画像を表示手段に表示させる表示制御手段と、
   操作手段を介したユーザの操作に基づいて、前記通知画像により指し示された前記機器を選択する選択手段と、
   前記選択手段により選択された前記機器に関連しフィルタリング後に残った前記機器関連情報を前記ユーザに報知する報知手段と、
   を備える作業支援システム。
2. 前記撮像画像に写っている機器の前記空間における設置位置を特定する設置位置特定手段をさらに備え、
   前記機器識別手段は、前記設置位置特定手段により特定された前記機器の設置位置に基づいて、前記撮像画像に写っている機器を個別に識別する、
   請求項１に記載の作業支援システム。
3. 前記機器識別手段は、前記撮像画像に写っている前記機器に付されたマーカに基づいて、前記撮像画像に写っている機器を個別に識別する、
   請求項１に記載の作業支援システム。
4. 前記報知手段は、前記機器関連情報を示す画像を前記表示手段に表示させることにより、前記機器関連情報を前記ユーザに報知する、
   請求項１から３のいずれか１項に記載の作業支援システム。
5. 撮像手段と前記表示手段と前記操作手段とをさらに備え、
   前記撮像画像取得手段は、前記撮像手段により撮像された前記空間の撮像画像を取得する、
   請求項１から４のいずれか１項に記載の作業支援システム。
6. １以上の機器が設置された空間の撮像画像を取得し、
   前記撮像画像に写っている機器を個別に識別し、
   識別された機器ごとに、該機器に関連する機器関連情報を取得し、
   フィルタリング条件に基づいて前記機器関連情報をフィルタリングし、
   フィルタリング後に残った前記機器関連情報の存在を機器ごとに通知するために該機器を指し示す通知画像が前記撮像画像に重畳された重畳画像を表示手段に表示させ、
   操作手段を介したユーザの操作に基づいて、前記通知画像により指し示された前記機器を選択し、
   選択された前記機器に関連しフィルタリング後に残った前記機器関連情報を前記ユーザに報知する、
   作業支援方法。
7. コンピュータを、
   １以上の機器が設置された空間の撮像画像を取得する撮像画像取得手段、
   前記撮像画像に写っている機器を個別に識別する機器識別手段、
   前記機器識別手段により識別された機器ごとに、該機器に関連する機器関連情報を取得する機器関連情報取得手段、
   フィルタリング条件に基づいて前記機器関連情報をフィルタリングするフィルタリング手段、
   前記フィルタリング手段によるフィルタリング後に残った前記機器関連情報の存在を機器ごとに通知するために該機器を指し示す通知画像が前記撮像画像に重畳された重畳画像を生成する重畳画像生成手段、
   前記重畳画像を表示手段に表示させる表示制御手段、
   操作手段を介したユーザの操作に基づいて、前記通知画像により指し示された前記機器を選択する選択手段、
   前記選択手段により選択された前記機器に関連しフィルタリング後に残った前記機器関連情報を前記ユーザに報知する報知手段、
   として機能させるプログラム。

Images